Hadoop 任务进度

Question

我需要计算在 Hadoop 集群的所有节点上运行的每个地图任务的进度。我正在考虑将已处理数据的大小除以整个输入数据的大小，但我不确定如何为任务获取此信息。

我看到TaskStatus 类有一个方法getProgress()，但是没有关于它的描述。它是否提供了我需要的价值？

Answer 1

对于映射任务，是的，getProgress() 返回映射器在输入文件中的进度。对于 reduce 任务，计算不那么简单。 This article 有很好的解释。