【问题标题】:Why am I unable to connect to yarn?为什么我无法连接到纱线?
【发布时间】:2017-03-06 16:31:10
【问题描述】:

我正在尝试通过yarn application -list 连接到纱线。但我不能,因为它说:

<date> <time> INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
<date> <time> INFO ipc.Client: Retrying connecting to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s): retyr policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime= 1000 MILLISECONDS)
<date> <time> INFO ipc.Client: Retrying connecting to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s): retry policy is RetryUpToMaximumCount
<date> <time> INFO ipc.Client: Retrying connecting to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s): retry policy is RetryUpToMaximumCount

我在/etc/hadoop/conf.empty/yarn-site.xml 下有一个文件,我认为它在某种程度上与此有关。我在/etc/hadoop/conf.empty/ 有一个名为yarn-env.sh 的文件。我尝试运行这个文件,但它没有改变任何东西。

我做错了吗?或者也许有些东西没有正确配置?如何启动纱线?

【问题讨论】:

  • 你是如何启动纱线守护进程的?

标签: hadoop hadoop-yarn


【解决方案1】:

yarn-site.xml 用于配置 YARN 守护进程 ResourceManagerNodeManagerApplicationMaster。与这些服务相关的属性位于此处。并且可以使用yarn-env.sh修改YARN的环境设置。

启动 YARN 服务,(从发布的 yarn-site.xml 文件的路径来看,安装似乎不是使用 tarball 完成的。因此启动脚本可能不可用)

在 ResourceManager 主机上

sudo service hadoop-yarn-resourcemanager start

并且在每个 NodeManager 主机上

sudo service hadoop-yarn-nodemanager start

注意:确保为 HDFS 和 YARN 设置了初步配置属性,并且 HDFS 守护进程 NamenodeDatanode 已启动并运行。

另外,将mapreduce配置为在mapred-site.xml中使用yarn

<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

【讨论】:

  • franklinsijo 和@FelicePollano 你们都在提出不同的解决方案。一个建议运行 bash 脚本,一个建议运行服务。哪一个(或两个?)是正确的?
  • 这些有什么区别?
  • @Sother,正确的取决于所遵循的安装方法。如果二进制 tarball 已下载并解压,它包含可用于启动服务的启动脚本。但是,如果不遵循此安装模式,并且使用像 aptyum 这样的安装程序从存储库安装它们不包含脚本,则您必须使用服务来启动和停止守护程序。配置文件位置提示我已遵循后一种方法。
  • 你的帖子暗示你没有修改任何这些xml文件也表明服务的配置没有完成。您必须先添加一些基本配置属性,然后才能使用它们。如果它是一个快速启动的虚拟机,不应该是这样,因为它们是带有基本配置的现成的
【解决方案2】:

你需要启动hadoop服务,至少你需要启动:

start-dfs.sh
start-yarn.sh

这些 shell 脚本位于 hadoop bin 文件夹中。 根据安装情况,您甚至可能需要启动历史服务器。 如果是第一次启动hadoop,需要格式化namenode,否则dfs服务启动不了。

【讨论】:

    猜你喜欢
    • 2017-07-30
    • 1970-01-01
    • 2021-10-31
    • 2017-06-06
    • 2021-01-18
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-26
    相关资源
    最近更新 更多