reducer 可以接受多个输入吗？两个映射器的键相同，但值类型不同。首先是一个 MapReduce 程序，它输出 (text, floatwritable)，其中 floatwritable 是值类型，text 是键。第二个是输出（文本，SongStats）的映射器，其中 SongStats 是实现 Writable 的自定义数据类型。我想要一个 reducer 在运行计算时获取早期 map reduce 和第二个 mapper 的输出。我认为第一个 MapReduce 程序的输出可能太大而无法保存在分布式缓存中。任何指针都会有所帮助。我正在用 Java 编写程序。
【问题讨论】：
不，reducer 只能接受方法定义中定义的特定输入：
public void reduce(Key key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
最好的办法是编写一个新的 MapReduce 作业，该作业使用 MultipleInputs 将先前 MapReduce 作业的输出（具有文本、可浮动写）和其他 Mapper 的输出（具有文本、SongStats）转换为类似的类型（例如文本、文本或最适合您需要的任何内容）并将其传递给您的减速器。
来源：
https://hadoop.apache.org/docs/r2.9.0/api/org/apache/hadoop/mapreduce/Reducer.html
https://hadoop.apache.org/docs/r2.6.3/api/org/apache/hadoop/mapreduce/lib/input/MultipleInputs.html
【讨论】：