shuffle是非常重要!一定要深入理解和多实践。

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

缓存,分组,排序,转发,这些都是mr的shuffle。

Soga

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

 

 

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

我想得到按流量来排序,而且还是倒序,怎么达到实现呢?这就牵扯到排序的的问题

默认是根据key来排,

我想根据value里的某个排,

解决思路:将value里的某个,放到key里去,然后来排

下面,开始weekend110的hadoop的自定义排序实现

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

也要修改FlowBean代码

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

 Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5713701.html,如需转载请自行联系原作者

相关文章:

  • 2021-12-12
  • 2021-09-23
  • 2021-08-09
  • 2021-11-18
  • 2021-11-10
  • 2022-01-02
  • 2021-12-04
  • 2021-09-21
猜你喜欢
  • 2021-10-13
  • 2022-01-21
  • 2021-09-28
  • 2021-07-01
  • 2022-02-18
  • 2021-08-31
  • 2021-07-04
相关资源
相似解决方案