【问题标题】:Understanding the different elements of Hadoop了解 Hadoop 的不同元素
【发布时间】:2019-04-10 08:58:58
【问题描述】:

我正在自学 Hadoop 和 Map Reduce 编程模型。我正在尝试理解它的核心元素:我正在尝试将以下每个元素与以下功能相匹配:

  • 减速机
  • 组合器
  • 随机和排序
  • 映射器
  • 分区器
  • 复制

我必须映射上述 Hadoop 组件的功能是:

-分组、将计算转移到数据、帮助解决复制阶段的瓶颈、负载、平衡、数据过滤、全局计算

我的理解: Reducer--->全局计算,Combiner--->分组,洗牌和排序(将数据从映射器移动到reducer的过程)-->将计算移动到数据。 Mapper-->(数据过滤) 分区器-->负载平衡,最后是复制-->有助于解决复制阶段的瓶颈。

如果有人能检查我对基本 hadoop 组件的理解并在必要时纠正我,我将不胜感激。

【问题讨论】:

标签: hadoop mapreduce


【解决方案1】:

Replication → 将计算转移到数据,Combiner → 帮助解决复制阶段瓶颈,Mapper → 数据过滤,Reducer → 全局计算,Partitioner → 负载平衡,Shuffle 和 Sort → Grouping

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-12-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多