【发布时间】:2018-10-21 16:56:05
【问题描述】:
Hive 日志包含查询所用的总时间、获取的行数等信息以及内部方法调用。
有没有办法获取特定 hive 查询的 cpu、IO 和内存使用情况?
【问题讨论】:
Hive 日志包含查询所用的总时间、获取的行数等信息以及内部方法调用。
有没有办法获取特定 hive 查询的 cpu、IO 和内存使用情况?
【问题讨论】:
[更新]
如果您想检查特定查询的 cpu 使用情况和内存,则可以使用基于 hive JMX 的方法来收集其中一些详细信息,例如:
https://community.hortonworks.com/articles/62211/enabling-jmx-monitoring-for-hiveserver2.html
如果您使用的是 Ambari HDP,那么您也可以使用 Grafana 服务。 Grafana 还可以提供许多与 Hive 相关的图表:
如果您想知道 Databas 的 CPU 利用率,您可以点击此链接:
[上一个答案]
您可以使用 ip-addr:8088(例如:192.168.118.111:8088),在那里您可以检查创建了多少个容器以及作业需要多少 cpu + 内存成功执行。
【讨论】: