【问题标题】:Why IdentityMapper disappears in the org.apache.hadoop.mapreduce library?为什么 IdentityMapper 在 org.apache.hadoop.mapreduce 库中消失了?
【发布时间】:2013-10-29 18:50:12
【问题描述】:

在旧版本的 hadoop 库(即 org.apache.hadoop.mapred.lib)中,有一个称为 IdentityMapper 的 Mapper 基本实现,它本质上将所有键值对传递给 Reducer。

但是,我发现在较新版本的 hadoop 库(org.apache.hadoop.mapreduce.lib)中,它 没有任何名为 IdentityMapper 的类(可以找到 Mapper 的所有子类 here)。

我能知道 IdentityMapper 是改名还是在新库中消失了吗?

如果答案是第二个,我能进一步知道为什么 IdentityMapper 会消失吗?这是否意味着 我们可以链接多个 Reducer 而无需在其间使用 Mapper?

【问题讨论】:

    标签: java apache hadoop mapreduce


    【解决方案1】:

    我突然意识到这个设计......

    简短的回答是:新的 Mapper 是旧的 IdentityMapper。

    这是一个更长的答案:

    在旧库中,Mapper 是一个接口,它的基本实现称为IdentityMapper

    但是,在新库中,它不再具有映射器的基本接口。相反,它有一个名为Mapper 的映射器通用基类,其实现是以前的 IdentityMapper。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-04-28
      • 2013-05-22
      • 2023-04-03
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多