如何在 reduce 阶段工作时启动 map 阶段

【问题标题】：How to start the map phase while the reduce phase is working如何在 reduce 阶段工作时启动 map 阶段
【发布时间】：2012-08-14 02:31:06
【问题描述】：

我有这种情况。工作 A 和工作 B。是否有机会使用 JobA reduce 阶段提供的数据来启动 JobB 映射阶段，而这仍在工作？

谢谢！

【问题讨论】：

【解决方案1】：

我唯一想到的是有一个线程（在您的驱动程序类中启动）永久检查 JobA 的输出目录。当创建并完全写入特定（组）part-r-xxxx 文件后，您可以启动 JobB，并将该特定（组）part-r-xxxx 文件作为输入。

我现在唯一能确定的问题是与检查 part-r-xxxx 文件是否已完全写入有关的问题。

【讨论】：

在一个特定的 reducer 完全写入 part-r- 文件之前，您不会看到它。因此，您可以在 part-r 文件出现时开始处理它们，并且您会知道它们是完整的。