【发布时间】：2014-10-19 16:15:50
【问题描述】：
我正在运行一个有 1000 个任务的 hadoop 作业。我需要这项工作来尝试运行每个任务，但许多任务将无法完成，而是会引发异常。我无法改变这种行为，但我仍然需要从没有失败的任务中获得的数据。
尽管遇到大量失败的任务，如何确保 Hadoop 完成所有 1000 个任务？
【问题讨论】：
标签： java hadoop configuration cluster-computing
【发布时间】：2014-10-19 16:15:50
【问题描述】：
在您的情况下，您可以设置允许在不触发作业失败的情况下失败的任务的最大百分比。 Map 任务和 reduce 任务是独立控制的，使用
mapred.max.map.failures.percent
mapred.max.reduce.failures.percent
属性。因此，如果您想要 70% 的任务结果，即使 30% 失败，您也可以使用上述属性。
【讨论】：