【发布时间】:2013-12-13 06:16:32
【问题描述】:
我想运行一个作业,以便记录所有任务失败,否则会被忽略(基本上是为了测试我的输入)。现在,当任务失败时,我得到“失败的地图任务数超出了允许的限制”。如何提高限额?
我使用 Hadoop 1.2.1
【问题讨论】:
我想运行一个作业,以便记录所有任务失败,否则会被忽略(基本上是为了测试我的输入)。现在,当任务失败时,我得到“失败的地图任务数超出了允许的限制”。如何提高限额?
我使用 Hadoop 1.2.1
【问题讨论】:
在mapred-site.xml中指定mapred.max.map.failures.percent和mapred.max.reduce.failures.percent指定失败阈值.两者都设置为 0。查看JobConf.java 的代码了解更多详情。
【讨论】:
为了设置增加 MapTasks 的限制,请尝试在 mapred-site.xml 文件中添加以下内容。
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>{cores}</value>
</property>
这将使 MapTasks 的数量设置为最大值。代替 {cores} 您应该替换您拥有的核心值。将此值设置为可用核心的确切值并不被认为是好的。如果您有任何问题,请告诉我。
希望这会有所帮助。
Hadooping 快乐!!!
【讨论】: