【问题标题】:hadoop: how to increase the limit of failed taskshadoop:如何增加失败任务的限制
【发布时间】:2013-12-13 06:16:32
【问题描述】:

我想运行一个作业,以便记录所有任务失败,否则会被忽略(基本上是为了测试我的输入)。现在,当任务失败时,我得到“失败的地图任务数超出了允许的限制”。如何提高限​​额?

我使用 Hadoop 1.2.1

【问题讨论】:

    标签: hadoop mapreduce


    【解决方案1】:

    在mapred-site.xml中指定ma​​pred.max.map.failures.percentma​​pred.max.reduce.failures.percent指定失败阈值.两者都设置为 0。查看JobConf.java 的代码了解更多详情。

    【讨论】:

      【解决方案2】:

      为了设置增加 MapTasks 的限制,请尝试在 mapred-site.xml 文件中添加以下内容。

      <property>
          <name>mapred.tasktracker.map.tasks.maximum</name>
          <value>{cores}</value>
      </property>
      

      这将使 MapTasks 的数量设置为最大值。代替 {cores} 您应该替换您拥有的核心值。将此值设置为可用核心的确切值并不被认为是好的。如果您有任何问题,请告诉我。

      希望这会有所帮助。

      Hadooping 快乐!!!

      【讨论】:

      • 查询不是关于增加每个tasktracker的map/reduce任务数。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2013-09-26
      • 1970-01-01
      • 1970-01-01
      • 2017-08-24
      相关资源
      最近更新 更多