Hadoop自定义输出格式，所有reducer什么时候结束？

Question

我正在为 hadoop 构建自定义输出格式，并且想知道输出格式中是否有办法知道所有 reducer (RecordWriters) 何时完成？

为了知道一个RecordWriter完成了，可以使用RecordWriter的close方法，但是当所有RecordWriters完成后执行一些清理呢？

Answer 1

您可以使用驱动程序本身进行最终清理，而不是依赖OutputFormat。我怀疑它是否真的提供了这样的功能（api）。 finalize 方法可能是最后的手段，但根本不可取。

Job 的 waitForCompletion 方法仅在作业完成后返回。所以简单地这样做：

boolean status = job.waitForCompletion(true); 
if(status){
     // clean up required for successful jobs
} else {
     // clean up required for failed jobs
}

如果您的清理与作业的成功/失败无关，只需删除 if-else 部分。如果你真的需要在你的OutputFormat 类中使用一个方法来进行删除，那就让它static。例如：

job.waitForCompletion(true);
CustomOutputFormat.cleanUp();

我希望这能满足您的需要。