在hadoop中，如何分别验证每个从节点上运行的map任务的数量？答案

【问题标题】：In hadoop, how to verify number of map tasks running on each slave node individually?在hadoop中，如何分别验证每个从节点上运行的map任务的数量？
【发布时间】：2012-04-29 18:43:54
【问题描述】：

我有一个 Hadoop 集群，头节点作为主节点，其他 7 个节点配置为从节点，每个节点都有 8 个内核和 8 GB 内存。我正在尝试改变从配置文件中的参数“mapred.tasktracker.map.tasks.maximum”和从属的数量。现在，如果我的程序必须运行 40 个任务，我可以在某个日志文件或某处查看每个从属节点上运行的任务数吗？基本上，我正在寻找不同节点之间的 Map 任务分布。

【问题讨论】：

标签： hadoop mapreduce cloudera

【解决方案1】：

执行此操作的最简单方法是使用 Hadoop 系统附带的 Web 界面。

在您的网络浏览器中，输入：jobtrack-machine-hostname:50030 例如：localhost:50030强>

你会得到你想要的。

【讨论】：

【解决方案2】：

您可以安装 Ganglia 以监控来自 jobtracker 的统计信息。我在我的集群上做了这个，它很容易安装。它还允许您监控每个节点上的负载、交换、磁盘、内存使用情况等。

在此处查看说明：http://wiki.apache.org/hadoop/GangliaMetrics

GOTCHA ALERT：如果您要安装 Ganglia，您可能会获得 3.1 版请确保您使用 org.apache.hadoop.metrics.ganglia.GangliaContext31 而不是他们在该页面上提供的内容。

【讨论】：