在 Hadoop 中链接仅限 Reduce 的作业

Question

我正在使用 ControlledJobs 在 Hadoop 2.2.0 中实现一系列 MR 作业。基本架构是这样的：

mapper1 -> reducer1 -> mapper2 -> reducer2

但是，mapper2 是身份。有没有办法让reducer1轻松生成key-value-pairs并将它们传递给reducer2？

目前，两轮的作业输出配置如下：

// set intermediate/mapper output
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);

// set reducer output
job.setOutputKeyClass(NullWritable.class);
job.setOutputValueClass(Text.class);

Answer 1

据我所知，身份映射器仍然是一个映射器，您无法绕过它。但是，我相信在某些情况下，您可以将 mapper1、reducer1 和 reducer2 重构为一个工作，这样它就会变成：mapper1 -> reducer1。这完全取决于您的用例以及您在此处尝试减少（两次）的数据。