【发布时间】:2019-04-10 08:58:58
【问题描述】:
我正在自学 Hadoop 和 Map Reduce 编程模型。我正在尝试理解它的核心元素:我正在尝试将以下每个元素与以下功能相匹配:
- 减速机
- 组合器
- 随机和排序
- 映射器
- 分区器
- 复制
我必须映射上述 Hadoop 组件的功能是:
-分组、将计算转移到数据、帮助解决复制阶段的瓶颈、负载、平衡、数据过滤、全局计算
我的理解: Reducer--->全局计算,Combiner--->分组,洗牌和排序(将数据从映射器移动到reducer的过程)-->将计算移动到数据。 Mapper-->(数据过滤) 分区器-->负载平衡,最后是复制-->有助于解决复制阶段的瓶颈。
如果有人能检查我对基本 hadoop 组件的理解并在必要时纠正我,我将不胜感激。
【问题讨论】:
-
复制不是 MapReduce 的一部分,只有 HDFS 协议