【发布时间】:2015-01-06 01:10:38
【问题描述】:
我在 Definite Guide: Hadoop in pg 206 中有以下文本。
在写入磁盘之前,线程首先将数据划分为对应的分区 到最终将被发送到的减速器。在每个分区内,后台线程按key进行内存排序,如果有combiner函数, 它在排序的输出上运行。运行组合器功能可以获得更多 紧凑的地图输出,因此写入本地磁盘和传输到本地磁盘的数据更少 减速机。
那么有了这样的理解,我可以将顺序排序为 Mapper、partitioner、shuffle/sort、Combiner 吗?
【问题讨论】:
标签: hadoop