YARN 不显示完成的工作

Question

我在我的 MAC 上安装了 Hadoop 和 YARN。我能够在 HDFS 上运行 wordcount 示例并输出结果（伪分发模式），我知道 我的程序正在 HDFS 上运行数据文件，因为我必须将文件复制到 HDFS 才能运行。但是，当我查看 YARN 的 WEB UI 时，没有任何任务已完成的记录。网上查了一下，貌似还是本地运行的应用。

在 start-yarn.sh 之后，我可以打开资源管理器 web UI http://localhost:8088/，问题是没有任何任务出现。此外，我什至无法访问我的 JobTracker Web UI。

我找到了以下链接。我的也有类似的问题，但是这个解决方案对我不起作用

Hadoop is not showing my job in the job tracker even though it is running

我的 XML 设置如下

mapred-site.xml

<configuration>
  <property>
      <name>mapred.job.tracker</name>
      <value>localhost:9001</value>
  </property>
  <property>
    <name>mapred.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:9002</value>
</property>

核心站点.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

谁知道问题出在哪里？谢谢

Answer 1

如果您使用纱线，因为没有 jobtracker，它将由资源管理器处理您的请求。因此，当您将 mapred.framework.service 作为纱线提供时，框架将运行资源管理器。 从 mapred-site.xml 中删除 jobtracker 的条目 试试下面的 mapred-site.xml

mapreduce.framework.name纱线属性> mapreduce.jobhistory.address本地主机：10020属性> mapreduce.jobhistory.webapp.address本地主机:19888属性>

也可以通过 bin/yarn-damemoe.sh start historyserver 启动历史服务器
这样，您将能够查看已完成应用程序的历史记录（旧 mapreduce 中的作业）。 在 Web UI 上，您只会显示正在运行的任务，有关更多详细信息，它会提供指向应用程序主控的链接，这些主控程序负责在 yarn 中运行应用程序。同样在完成任务后，您可以通过单击历史链接来查看历史。尝试在 resourmanager web UI 上找到所有这些链接