自建Spark集群Yarn Log日志配置

一、背景:

在自建Spark集群安装完后,当运行Spark On Yarn的作业运行时以及完成后,无法访问Task在Yarn上的日志。

二、根因分析:

Yarn的ResourceManager、NodeManager、JobHistory没有正确配置mapreduce.jobhistory

三、进行Yarn Log配置

(1)配置ResourceManager的yarn-site.xml,在该文件尾追加如下配置。

<property>
 <name>yarn.log.server.url</name>
 <value>http://192.168.0.223:64322/jobhistory/logs</value>
 <!-->该url中的http://192.168.0.223:64322地址为jobhistory的地址,具体可以查看jobhistory下的mapred-site.xml中的mapreduce.jobhistory.webapp.address配置<-->
</property>
<property>
 <name>yarn.nodemanager.remote-app-log-dir</name>
 <value>/tmp/logs</value>
</property>
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<property>
 <name>yarn.nodemanager.log.retain-seconds</name>
 <value>10800</value>
</property>
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>1296000</value>
</property>
<property>
 <name>yarn.log-aggregation.retain-check-interval-seconds</name>
 <value>86400</value>
</property>
<property>
 <name>yarn.nodemanager.remote-app-log-archive-dir</name>
 <value>/tmp/archived</value>
</property>

(2)配置NodeManager的yarn-site.xml,在该文件尾追如下配置。

<property>
 <name>yarn.log.server.url</name>
 <value>http://192.168.0.223:64322/jobhistory/logs</value>
 <!-->同ResourceManager<-->
</property>

(3)配置jobhistory的yarn-site.xml,在该文件尾追加如下配置。

<property>
 <name>yarn.nodemanager.log.retain-seconds</name>
 <value>10800</value>
</property>
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>1296000</value>
</property>
<property>
 <name>yarn.log-aggregation.retain-check-interval-seconds</name>
 <value>86400</value>
</property>
<property>
 <name>yarn.nodemanager.remote-app-log-archive-dir</name>
 <value>/tmp/archived</value>
</property>

四、重启Yarn进程

然后再重启Yarn相关的进程即可。

合智互联客户成功服务热线:400-1565-661

admin
admin管理员

上一篇:PostgreSQL插件之TimescaleDB
下一篇:LiteOS内核源码分析系列二 SpinLock自旋锁及LockDep死锁检测

留言评论

暂无留言
取消
扫码支持