Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.C
我是对map的输出key类型仅仅实现了Writable,而没有实现comparable
由上图可知,会进行shuffle阶段对key进行分类,相同的key,会把value收集在一起,就是reduce 的Iterable value
解决办法 需要map阶段输出的key类型实现 compareTo
如果只进行序列化是可以仅仅实现Writable接口 write(),readFile的
map到reduce时存在shuffle,若作为key,则需要实现WritableComparable

相关文章:

  • 2022-12-23
  • 2021-07-31
  • 2022-02-06
  • 2022-01-07
  • 2022-12-23
  • 2022-01-15
  • 2022-12-23
  • 2021-05-31
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-02-28
  • 2022-02-17
  • 2022-01-10
  • 2021-11-28
  • 2021-12-08
相关资源
相似解决方案