MapReduce中自定义传递对象

自定义传递对象:
1. 自定义key传递对象需要实现WritableComparable接口。
【大数据】MapReduce原理(2)
注意:这里定义类必须有无参构造函数,否则会报错。
2. 自定义key传递对象需要实现Writable接口。
这两种实现区别在于:MapReduce在map阶段会对结果按key进行排序,所以需要实现Comparable的比较方法:
【大数据】MapReduce原理(2)
同时还要重写序列化的方法(map传递到reduce的时候需要将key和value序列化,所以这里需要重写序列化方法):
【大数据】MapReduce原理(2)

MapReduce的JavaAPI杂记

  • 获取当前切片文件名。
    【大数据】MapReduce原理(2)

相关文章:

  • 2021-05-25
  • 2021-07-26
  • 2021-12-04
  • 2022-01-01
  • 2021-07-10
  • 2021-12-24
  • 2022-01-09
  • 2021-04-23
猜你喜欢
  • 2021-04-24
  • 2021-12-29
  • 2021-05-13
  • 2022-12-23
  • 2021-10-11
  • 2021-06-02
相关资源
相似解决方案