【问题标题】：How can I measure the duration of each phase(map, shuffle/sort, reduce) in Hadoop?如何测量 Hadoop 中每个阶段（map、shuffle/sort、reduce）的持续时间？
【发布时间】：2014-03-05 15:47:27
【问题描述】：
Hadoop 执行 map、shuffle/sort 和 reduce 阶段。 我想知道每个阶段的持续时间。我的意思是，它们需要多长时间？
我搜索了很多文档，但找不到任何明确的解决方案。例如，我设置配置文件并启用分析器以使用 Hadoop 分析器。但是没有生成结果文件“java.hprof.txt”。此外，我不确定结果文件是否包含我想要的信息。
你能帮帮我吗？
【问题讨论】：
标签：
java
performance
hadoop
profile
【解决方案1】：
跟踪工作进度的一种方法是查看 Hadoop 提供的 Web UI。默认情况下，它位于http://server-adress:50030/jobtracker.jsp。
在那里您可以找到有关任务运行时、任务进度、查看日志和许多其他有用工具的信息。
【解决方案2】：
您可以在 jobtracker 的作业历史日志中找到所有这些信息，该日志可在其 Web UI 中找到。它与您在作业运行时看到的 UI 不同。在那里，您将分别找到每个阶段的时间。