【问题标题】:Nutch/Hadoop: How do I configure the url to track the job?Nutch/Hadoop:如何配置 url 来跟踪作业?
【发布时间】:2019-11-13 16:40:37
【问题描述】:

我是 Nutch 和 Hadoop 的新手。我按照几个教程为 windows/eclipse 设置 nutch 和 hadoop。我在获取过程中遇到了一些错误,希望查看有关作业的更多信息,但跟踪作业的 url 指向 http://localhost:8080/,我无法访问它。当我运行 Hadoop 时,它在 http://localhost:8088 上运行,我试图将跟踪 url 指向该地址。

我已经尝试添加

   <property>
     <name>yarn.resourcemanager.webapp.address</name>  
     <value>127.0.0.1:8088</value>
   </property>
   <property>
     <name>yarn.resourcemanager.address</name>  
     <value>127.0.0.1:8088</value>
   </property>

到 yarn-site.xml 但它不起作用。有人可以为我指出正确的方向,即如何配置“跟踪工作的 URL”或从哪里获取这些信息?

【问题讨论】:

    标签: eclipse hadoop nutch


    【解决方案1】:

    当前正在运行的 Yarn 应用程序显示在 http://localhost:8088/cluster/apps/RUNNING 上 - 应该有一个指向您要跟踪的实际 Nutch 作业的链接。

    8088端口是默认的(见yarn-default.xml),所以应该不需要重新配置。

    【讨论】:

    • 有疑问,默认端口可能取决于所使用的 Hadoop 版本。
    猜你喜欢
    • 1970-01-01
    • 2012-08-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多