对 Hadoop Map-Reduce 应用程序进行基准测试答案

【问题标题】：Benchmarking Hadoop Map-Reduce application对 Hadoop Map-Reduce 应用程序进行基准测试
【发布时间】：2013-06-05 12:20:56
【问题描述】：

我需要按作业执行时间比较两种 Hadoop 调度算法。我可以使用什么来获取所有任务的执行持续时间？

【问题讨论】：

【解决方案1】：

JobTracker Web UI 为您提供了非常有用的报告，允许您将所有内容与每个映射器和减速器的可用日志进行比较。

还可以查看mrbench 存档中的mrbench 类。网上有很多关于它用于 Hadoop 集群基准测试的信息，例如 this article。

【讨论】：

【解决方案2】：

您可以从该地址查看有关任务和作业的详细信息：

http://hostnameofmachinerunningtheJobTracker:50030/jobtracker.jsp

您可以从link获得其他信息

【讨论】：

它实际上应该是运行 JobTracker 服务的机器的主机名。如果它不在与 NameNode 相同的机器上，那么你必须记住这一点。并且没有什么比 HDFS 的主机名更好的了。 HDFS 分布在所有机器上。有 NameNode 主机名或 DataNode 主机名。
我正在远程网格上从终端运行作业，但我无权访问界面来查看此信息。 Hadoop 是否也将此信息存储在日志文件中？