如何限制每个DataNode上同时运行map任务的数量

Question

环境：

• Hadoop 3.0.0
• 1 个名称节点，5 个数据节点

我在mapred-site.yml上配置如下设置，以限制3同时运行的地图任务：

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.tasktracker.map.tasks.maximum</name>
    <value>3</value>
    <description>The maximum number of map tasks that will be run simultaneously by a task tracker.</description>
</property>
<property>
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>
    <value>3</value>
    <description>The maximum number of reduce tasks that will be run simultaneously by a task tracker.</description>
</property>

但是当我使用以下命令运行 TestDFSIO 基准测试时，实际运行的最大地图任务为8，似乎设置不起作用：

yarn jar /opt/hadoop-3.0.0/share/hadoop/mapreduce/hadoop-mapreduce- 
client-jobclient-3.0.0-tests.jar \
TestDFSIO -storagePolicy HOT -write \
-nrFiles 500 -fileSize 1000MB -resFile /tmp/DFSIO-write.out

任何帮助将不胜感激。

Answer 1

该配置参数来自旧的 Hadoop 1.x。据我所知，您使用的是 3.0.0。试试这个：

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>3</value>
</property>

您应该在每个运行 NodeManager 的主机上的 yarn-site.xml 中设置它。