【问题标题】:Hadoop Resource Manager not startingHadoop 资源管理器未启动
【发布时间】:2015-04-15 07:39:34
【问题描述】:

我是 Hadoop 新手,所以我开始在 localhost 上设置部分分布式 Hadoop 集群。我创建了一个 wordcount 程序 jar 来运行,但是当我运行这个 jar 时,以下错误显示了九次:

NFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9040. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

当我输入 jps 命令时,我的服务启动是:

9154 DataNode

9777 NodeManager

8967 NameNode

9441 SecondaryNameNode

10060 Jps

core-site.xml

<configuration>

  <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
  </property>

  <property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
  </property>

  <property>
     <name>fs.file.impl</name>
     <value>org.apache.hadoop.fs.LocalFileSystem</value>
     <description>The FileSystem for file: uris.</description>
  </property>
  -
  <property>
     <name>fs.hdfs.impl</name>
     <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
     <description>The FileSystem for hdfs: uris.</description>
  </property>

</configuration>

yarn-site.xml

<configuration>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:9025</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:9030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:9040</value>
  </property>
  <property>
    <name>yarn.nodemanager.address</name>
    <value>localhost:9050</value>
  </property>
  <property>
    <name>yarn.nodemanager.localizer.address</name>
    <value>localhost:9060</value>
  </property>

</configuration> 

ma​​pred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>

</configuration>

帮助表示赞赏。我该如何解决这个问题??

【问题讨论】:

  • 检查 ResourceManger 的日志文件中发生了什么。
  • 检查您的 Java 版本是否与您的 Hadoop 版本兼容。最新的 Hadoop 3.1.1 支持 Java 8

标签: java hadoop client ipc resourcemanager


【解决方案1】:

没有 ResourceManager 守护程序的最可能原因是 HTTP 端口绑定错误。浏览 yarn-resourcemanager-* 的日志文件。您可以轻松找到错误原因。

【讨论】:

  • 要查看的日志文件是 $HADOOP_HOME/logs/yarn-rdmaHB-resourcemanager-(yourhostname).log
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-10-29
  • 1970-01-01
  • 2013-03-12
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多