nutch 作业失败失败，退出值为 255答案

【问题标题】：nutch job is failing Failed with exit value 255nutch 作业失败失败，退出值为 255
【发布时间】：2020-10-14 13:45:11
【问题描述】：

当我为 100 万个 URL 运行 nutch 作业时，nutch 作业失败与

20/10/14 12:40:34 ERROR fetcher.Fetcher: Fetcher: java.lang.RuntimeException: Fetcher job did not succeed, job status:FAILED, reason: Task failed task_1601725692999_0307_m_000004
Job failed as tasks failed. failedMaps:1 failedReduces:0

    at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:500)
    at org.apache.nutch.fetcher.Fetcher.run(Fetcher.java:541)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
    at org.apache.nutch.fetcher.Fetcher.main(Fetcher.java:514)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:244)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:158)

Error running:
  /home/hadoop/apache-nutch-1.17/runtime/deploy/bin/nutch fetch -Dmapreduce.map.memory.mb=2048 -Dmapreduce.map.java.opts=-Xmx2048m -Dmapreduce.reduce.memory.mb=2048 -Dmapreduce.reduce.java.opts=-Xmx2048m -Dmapreduce.job.reduces=12 -Dmapreduce.reduce.speculative=false -Dmapreduce.map.speculative=false -Dmapreduce.map.output.compress=true -D fetcher.timelimit.mins=300 s3a://pt-test-1/nutch/1million-crawls//segments/20201014115727 -threads 400
Failed with exit value 255.

【问题讨论】：

标签： nutch

【解决方案1】：

失败原因在task_1601725692999_0307_m_000004的日志中显示。它也显示在 Hadoop UI 的任务表中。

最可能的原因： -Dmapreduce.map.memory.mb=2048 -Dmapreduce.map.java.opts=-Xmx2048m mapreduce.map.memory.mb 必须大于 Java 堆内存。我建议将 512 MB 添加到 mapreduce.map.memory.mb。

【讨论】：

当我看到该应用程序的纱线日志时，它没有显示任何错误。
必须在日志中给出原因。由于第一个地图任务已经失败（failedMaps:1 failedReduces:0），这个任务很可能甚至无法打开任务日志。但必须有一个提示：你是否已经转储了所有的日志文件（例如yarn logs -applicationId application_mmm_nn --size_limit_mb -1）？
我读了一个网站 mapreduce.map.java.opts=container*0.8 是 2048*0.8=1639.May 我知道 AM RAM 值应该是什么，是否有必要保留1 映射任务到 2 个减速器，减速器 ram 值应该是多少。谢谢@Sebastian nagel。