【发布时间】:2017-10-23 18:58:39
【问题描述】:
我已经运行了我的 hadoop 作业,如何获取该应用程序的总内存和 CPU 使用率。我在日志和资源管理器网页上看到了它,但我没有得到它。 我在 RM UI 中找不到工作中的计数器。 是否可以?我可以按作业执行或每个应用程序获取它吗?我可以按节点使用量或总使用量获取它吗?
非常感谢....
【问题讨论】:
标签: hadoop mapreduce hadoop-yarn
我已经运行了我的 hadoop 作业,如何获取该应用程序的总内存和 CPU 使用率。我在日志和资源管理器网页上看到了它,但我没有得到它。 我在 RM UI 中找不到工作中的计数器。 是否可以?我可以按作业执行或每个应用程序获取它吗?我可以按节点使用量或总使用量获取它吗?
非常感谢....
【问题讨论】:
标签: hadoop mapreduce hadoop-yarn
所需的信息应该会显示在 ResourceManager UI 上,您也可以尝试yarn top 命令获取详细信息。
干杯。
【讨论】:
在资源管理器 UI 中,导航到 Applications,单击 applicationId。对于此应用程序,检查以 MB-seconds 和 vcore-seconds 为单位的聚合资源分配,将这些数字除以同一 UI 中显示的经过时间(以秒为单位),结果将是为此应用程序分配的内存/cpu 总量。
【讨论】: