新 Hadoop API 中的identityreducer

【问题标题】：identityreducer in the new Hadoop API新 Hadoop API 中的identityreducer
【发布时间】：2012-03-17 03:11:00
【问题描述】：

我花了将近一天的时间，但不知道如何在新的 Hadoop API 中使用 IdentityReducer。我能找到的所有参考资料或类都使用旧 API。显然，在新的 API 代码库中混合旧的 API idetntitreducer 类并不顺利。任何帮助将不胜感激。

【问题讨论】：

只是添加更多细节：import org.apache.hadoop.mapred.lib.IdentityReducer 是我在任何地方都能找到的，但这不是一个新的 API 类。

【解决方案1】：

主要是因为在新API中Mapper和Reducer是类而不是接口，它们是IdentityMapper/Reducer的新替代品。

所以你只需要使用Mapper.class 和Reducer.class 来获取身份。

【讨论】：

【解决方案2】：

看看：

hadoop 稳定版

【讨论】：

【解决方案3】：

Hadoop 流式传输 - Hadoop 1.0.2

根据this，命令是

-x org.apache.hadoop.mapred.lib.IdentityX

其中 x = mapper 或 reducer，X = Mapper 或 Reducer。

我测试了自己并工作。

【讨论】：