由于“映射中键的类型不匹配”，hadoop 中的任务失败答案

【问题标题】：Task fails in hadoop because of "Type mismatch in key from map"由于“映射中键的类型不匹配”，hadoop 中的任务失败
【发布时间】：2012-06-08 16:32:11
【问题描述】：

我一直在关注this tutorial 在一台 Windows 机器上设置 hadoop。 NameNode 和 JobTracker 服务分别在 http://localhost:50070 和 http://localhost:50030 上工作。当我在本地 hadoop 服务器 (right click on TestDriver.java > run as > Run on Hadoop) 上启动我的 Map/Reduce 驱动程序时，我有以下输出：

12/01/11 20:04:11 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
12/01/11 20:04:11 INFO mapred.FileInputFormat: Total input paths to process : 5
12/01/11 20:04:11 INFO mapred.JobClient: Running job: job_201201112003_0001
12/01/11 20:04:12 INFO mapred.JobClient:  map 0% reduce 0%

12/01/11 20:04:21 INFO mapred.JobClient: Task Id : attempt_201201112003_0001_m_000000_0, Status : FAILED
java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.Text, recieved org.apache.hadoop.io.LongWritable
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:558)
    at org.apache.hadoop.mapred.lib.IdentityMapper.map(IdentityMapper.java:37)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:342)
    at org.apache.hadoop.mapred.Child.main(Child.java:158)

[Previous block is repeated 2 times, the task id changes]

java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1232)
    at driverPkg.TestDriver.main(TestDriver.java:42)

你知道发生了什么吗？

【问题讨论】：

标签： java windows-7 hadoop

【解决方案1】：

这是相关的行：

映射中键的类型不匹配：预期的 org.apache.hadoop.io.Text，收到 org.apache.hadoop.io.LongWritable

看起来您的 Mapper 是使用 TextWritable 输出定义的（查看 Mapper 类和 Map 方法中的），但您输出的是 LongWritable。要么改变定义，要么改变你写的东西。

【讨论】：

【解决方案2】：

您可以使用 KeyValueTextInput 格式代替 TextInputFormat 来临时解决问题。

查看以下链接了解详细示例。

http://sanketraut.blogspot.in/2012/06/hadoop-example-setting-up-hadoop-on.html

和平。 Sanket Raut

【讨论】：