如何在 Hadoop 中迭代 MapReduce？ （语言：python）

Question

我写了一个 MapReduce 程序（mapper.py 和 reducer.py）来处理 Hadoop 中的 PageRank 问题。

我想迭代 MapReduce 大约 10 次迭代。如何将第一轮 MapReduce 的输出作为第二轮 MapReduce 的输入？

       1                    2                           10
[mapper->reducer] -> [mapper->reducer] -> ... -> [mapper->reducer] -> final result

Answer 1

您可以将 job1 的输出链接为 job2 的输入。

inputdir1 -> outputdir1 -> outputdir2 ... -> outputdir9 -> outputdir10