master在datanode上运行是否正确？答案

【问题标题】：Is it correct that master runs on a datanode?master在datanode上运行是否正确？
【发布时间】：2018-08-30 16:36:50
【问题描述】：

我正在使用使用纱线配置文件构建的 giraph-1.3。开始时，我在 ec2 集群上配置了 1 个名称节点和 2 个数据节点。我的应用程序正常工作，因为我在日志（和输出目录）中看到了预期的输出。我使用“-w 2”参数启动了 giraph，因为我有两个数据节点。

在 datanode1 的用户日志中，我找到了第一个工作人员的日志。
在 datanode2 的用户日志中，我也找到了第二个 worker 的日志和 master 的日志。

我希望在 namenode 中找到 master 的日志，即我希望 master 在 namenode 上运行。对吗？

也许我必须配置另一个数据节点，然后我才能在这个新数据节点上找到主日志？

【问题讨论】：

【解决方案1】：

我知道 hadoop/giraph 可以在数据节点上创建容器。 Hadoop 为 application master 创建一个容器，然后 giraph 为 master 创建一个容器。此外，giraph 为对应于 -w 参数的工人创建了一些容器。

【讨论】：

【解决方案2】：

YARN 总是为每个作业创建一个 Application Master。

您可以根据需要启动任意数量的“worker”，具体取决于您的工作负载，但由于您只有 2 个数据节点，因此您只能拥有 2 个 NodeManager 以实现最大并行度

NodeManager 有一个最大的可用内存空间，并且用于作业任务的 YARN 容器获取其中的一个子部分以便进行处理。

【讨论】：