Hadoop集群配置资源管理答案

【问题标题】：Hadoop cluster configuration resource managementHadoop集群配置资源管理
【发布时间】：2016-12-21 12:39:37
【问题描述】：

我想在 Hadoop 集群上运行我的 mapreduce 程序，但我遇到了问题。

当我运行程序时，似乎只有 master 资源正在使用，slave 没有动作。使用了主设备的 CPU 和 RAM，但没有使用从设备。

我有一个主人和七个奴隶。

主规格：2 个 CPU 内核和 4 GB 内存

slave 规格：2 个 CPU 核心和 4 GB 内存。

当我运行程序时，主控 CPU 使用率约为 70%，内存使用率约为 1.5GB。但是从属资源不会改变。

请帮助我。这对我来说非常重要。我应该如何配置我的集群以使用更优化的资源。

提前致谢。

【问题讨论】：

首先检查所有节点是否可用，所有服务都运行并且可以通信。然后尝试运行 WordCount
我的所有节点都在运行，一切正常。我运行我的程序并从我的 YARN UI 面板中截取屏幕截图。你可以从这里看到截图i.imgsafe.org/e16cfb5fab.png i.imgsafe.org/e16ce67c62.png i.imgsafe.org/e16ce42104.png i.imgsafe.org/e16c239a26.png i.imgsafe.org/e16ca934c0.png
但是奴隶休息并且没有活动！有集群状态截图i.imgsafe.org/e183b0d6d5.png i.imgsafe.org/e184055a51.png i.imgsafe.org/e18425ccc0.png i.imgsafe.org/e1843dd10c.png i.imgsafe.org/e184306177.png i.imgsafe.org/e18433975b.png i.imgsafe.org/e1844b403c.png i.imgsafe.org/e184465610.png提前谢谢。
为什么会有 5 个相同进程的实例，例如 namenode、resourcemanager 和不同的 pid？
我解决了这个问题。谢谢老兄

【解决方案1】：

请检查节点的日志，或者如果可能的话粘贴在这里，以便我们查看。

【讨论】：