减速机多路输出

Question

我正在开发简单的 map reduce 程序。我想在 reducer 之后为键中的每个不同单词创建不同的文件。例如，在执行 Mapreduce 后，我有类似

优先级 1 x 2

优先级 1 和 2

优先级 1 z 2

优先级 2 x​​ 2

优先级2 y 2

现在我想要减少阶段后的不同文件，说 Priority1 和 Priority2 根据优先级具有所有这些值。我正在使用 java，想知道在 reducer 中应该写什么以获得这种输出？

我只是想知道这是否可能，或者是否可以解决或解决这个问题？ 我使用的是 Hadoop 0.20.203，因此多输出不起作用。

任何指针都会有所帮助。 谢谢您的帮助！ 阿图尔

Answer 1

您需要先创建一个partioner 类，根据您的条件进行分区。

然后您需要创建自己的outputformat 类和recordwriter 类。

recordwriter 类，需要根据您的需要写入不同的文件。此外，如果您需要对值进行排序，请为您的关键字段创建 comparator 类。

Answer 2

看看MultipleOutputs。