Hadoop：测量每个阶段的持续时间（map、shuffle/sort、reduce）答案

【问题标题】：Hadoop: Measuring the duration of each phase(map, shuffle/sort, reduce)Hadoop：测量每个阶段的持续时间（map、shuffle/sort、reduce）
【发布时间】：2014-04-09 01:52:13
【问题描述】：

我想知道一个非常相似的问题。 How can I measure the duration of each phase(map, shuffle/sort, reduce) in Hadoop? 答案是 tasktracker 的 web/ui 显示应用程序的每个持续时间。但是我的环境是hadoop-2.2.0，没有tasktracker。所以 tasktracker web/ui "localhost:50030/tasktracker.jsp" 不工作。我猜这个答案只适用于低版本的 hadoop(1.x.x)。

如何测量 hadoop-2.x.x 版本中每个阶段（map、shuffle/sort、reduce）的持续时间？是否有任何其他 web/ui 可以检查它们？

我的环境：Red hat 6.3，hadoop-2.2.0。

【问题讨论】：

标签： java hadoop

【解决方案1】：

此信息可以通过jobhistory URL http://localhost:19888/jobhistory查看。单击“已退休工作”列表中的“工作 ID”，它将显示工作的平均地图、减少、洗牌和合并时间。如果您单击 map 或 reduce 任务，您可以查看每个任务的开始和结束时间的详细信息。

【讨论】：

感谢您的帮助。我运行并终止了一些应用程序，但表中没有 Retired Jobs。我的意思是，有一个 Retired Jobs 表，但没有显示条目。只是一张空桌子。在运行应用程序之前我必须配置一些东西吗？