如何确定要在 -w 参数中设置的 giraph 工作人员数量？答案

【问题标题】：how determine the number of workers of giraph to set in -w argument?如何确定要在 -w 参数中设置的 giraph 工作人员数量？
【发布时间】：2018-09-02 20:43:55
【问题描述】：

我正在使用一个 ec2 hadoop 集群，该集群由 20 台 c3.8xlarge 机器组成，每台机器都有 60 GB RAM 和 32 个虚拟 CPU。在每台机器上，我都按照https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hadoop-task-config.html 的文档设置了 yarn 和 mapreduce 设置，即如下所示：

c3.8xlarge
Configuration Option    Default Value
mapreduce.map.java.opts -Xmx1331m
mapreduce.reduce.java.opts  -Xmx2662m
mapreduce.map.memory.mb 1664
mapreduce.reduce.memory.mb  3328
yarn.app.mapreduce.am.resource.mb   3328
yarn.scheduler.minimum-allocation-mb    32
yarn.scheduler.maximum-allocation-mb    53248
yarn.nodemanager.resource.memory-mb 53248

现在我必须使用什么标准来确定最适合与 giraph 一起使用的工人数量？ IE。我必须为 -w 参数使用什么数字？该标准与上述设置有关吗？

【问题讨论】：

标签： hadoop amazon-ec2 hadoop-yarn giraph

【解决方案1】：

没有最佳数量，但您可以大致拥有的最多并行工作人员可以这样计算。

每个 NodeManager 有 53248 MB，乘以你的从节点数

从中只减去一个am.resource.mb 数量，因为所有作业都需要一个应用程序主控。

然后将其除以映射器或归约器内存中较大的一个，即可以一次运行的 MapReduce 任务总数

【讨论】：