【发布时间】:2017-08-10 14:11:22
【问题描述】:
我到处探索,但找不到解决方案。当我运行jps 命令时,它不会显示作业历史服务器正在运行。
历史服务器的配置设置是什么?如何启动?
编辑 1:
当历史服务器停止时,所有以前记录的作业信息都将被删除。集群和/或历史服务器重启后如何保留所有这些信息?
【问题讨论】:
标签: java hadoop configuration
我到处探索,但找不到解决方案。当我运行jps 命令时,它不会显示作业历史服务器正在运行。
历史服务器的配置设置是什么?如何启动?
编辑 1:
当历史服务器停止时,所有以前记录的作业信息都将被删除。集群和/或历史服务器重启后如何保留所有这些信息?
【问题讨论】:
标签: java hadoop configuration
JobHistoryServer 进程必须单独启动。
开始:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
停止:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
如果集群设置是伪分布式,则不需要其他属性。
在多节点集群设置中,将这些 JobHistoryServer 属性添加到 mapred-site.xml:
<property>
<name>mapreduce.jobhistory.address</name>
<value>hostname:10020</value> <!-- hostname of machine where jobhistory service is started -->
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hostname:19888</value>
</property>
【讨论】: