【问题标题】:Hadoop: How can I start tasktracker?Hadoop:如何启动 tasktracker?
【发布时间】:2014-03-06 10:45:51
【问题描述】:

我想打开 tasktracker 的 web/uilocalhost:50030/jobtracker.jsp 但它不起作用,因为没有正在运行的 tasktracker。我的 hadoop 应用程序在没有 tasktracker 的情况下运行良好。但我发现 tasktracker 应该运行才能打开 web/ui。但我不知道如何启动tasktracker。 如何启动 tasktracker? 我尝试了很多方法,但都不起作用。

我的状态和环境:localhost:50070 web/ui 运行良好。 jps 命令显示 Datanode、NameNode、NodeManager、SecondaryNameNode、ResourceManager。 Hadoop 版本是 2.2.0。操作系统是 Red Hat 6.3(圣地亚哥)。

提前感谢您的帮助。

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    如果您使用具有 YARN 框架的 Hadoop 2.2.0,则其中没有 jobtracker。它的功能被ResourceManagerApplicationMaster 拆分和替换。运行 YARN 时,这里是 jps 打印输出

    $jps
    18509 Jps
    17107 NameNode
    17170 DataNode
    17252 ResourceManager
    17309 NodeManager
    17626 JobHistoryServer
    

    【讨论】:

      【解决方案2】:

      从主节点,您可以使用以下命令启动jobtracker和从属的tasktracker(这些是文件$HADOOP_CONF_DIR/slaves中的节点):

      $HADOOP_HOME/bin/start-mapred.sh

      如果你想单独启动一个tasktracker,从这个节点类型:

      $HADOOP_HOME/bin/hadoop-daemons.sh start tasktracker

      将上述命令中的start 替换为stop,分别用于停止jobtracker 和tasktracker。

      顺便说一句,我认为你需要启动 jobtracker,才能看到你想要的,即使没有 tasktracker 正在运行。

      EDIT:这些命令在旧 API 中使用。新 API 使用以下命令:

      $ cd $HADOOP_MAPRED_HOME
      $ sbin/yarn-daemon.sh start resourcemanager
      $ sbin/yarn-daemon.sh start nodemanager
      

      ,如 here 所述。

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多