Hadoop WordCount 示例答案

【问题标题】：Hadoop WordCount ExampleHadoop WordCount 示例
【发布时间】：2011-12-30 13:49:18
【问题描述】：

成功创建hadoop环境后，当我要在0.19.1版本的hadoop中运行这个wordcount示例时，它给了我这样的错误，我该如何解决这个问题

11/12/30 06:46:13 INFO mapred.FileInputFormat: Total input paths to process : 1

11/12/30 06:46:14 INFO mapred.JobClient: Running job: job_201112300255_0019

11/12/30 06:46:15 INFO mapred.JobClient:  map 0% reduce 0%

11/12/30 06:46:20 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000003_0, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:24 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000003_1, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:28 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000003_2, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:35 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000002_0, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:39 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000002_1, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

11/12/30 06:46:44 INFO mapred.JobClient: Task Id : attempt_201112300255_0019_m_000002_2, Status : FAILED

java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:425)

Exception in thread "main" java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1232)
    at word.count.WordCount.main(WordCount.java:53)

Please help me out to resolve this error.

【问题讨论】：

只有错误代码 (1) 而没有堆栈跟踪，很难识别问题，请检查日志文件是否有任何错误/警告。另外，有什么理由使用 0.19.1，它是在 2 年前发布的吗？

标签： windows eclipse hadoop cygwin mapreduce

【解决方案1】：

您使用的 hadoop 版本具有管理整个作业的作业跟踪器。对于该工作的每个子部分（称为任务），一个实际完成工作的任务跟踪器。您提供的输出是作业跟踪器的输出，基本上说：任务失败。要弄清楚该任务中真正出了什么问题，您必须查看属于失败任务的日志文件。

您可以通过集群的 mapreduce Web 界面访问这些日志。

【讨论】：