【问题标题】:How to get cpu, memory and IO usage for a particular hive query?如何获取特定配置单元查询的 CPU、内存和 IO 使用情况?
【发布时间】:2018-10-21 16:56:05
【问题描述】:

Hive 日志包含查询所用的总时间、获取的行数等信息以及内部方法调用。

有没有办法获取特定 hive 查询的 cpu、IO 和内存使用情况?

【问题讨论】:

    标签: hadoop hive


    【解决方案1】:

    [更新]

    如果您想检查特定查询的 cpu 使用情况和内存,则可以使用基于 hive JMX 的方法来收集其中一些详细信息,例如:

    https://community.hortonworks.com/articles/62211/enabling-jmx-monitoring-for-hiveserver2.html

    如果您使用的是 Ambari HDP,那么您也可以使用 Grafana 服务。 Grafana 还可以提供许多与 Hive 相关的图表

    https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-operations/content/llap_overview.html

    https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.2.0/bk_ambari-operations/content/grafana_hive_hiveserver2.html

    如果您想知道 Databas 的 CPU 利用率,您可以点击此链接:

    CPU utilization by database?

    [上一个答案]

    您可以使用 ip-addr:8088(例如:192.168.118.111:8088),在那里您可以检查创建了多少个容器以及作业需要多少 cpu + 内存成功执行。

    【讨论】:

    • 谢谢,Abhinav,是的,我知道 hadoop map-reduce 日志会有所帮助。但我想知道 HiveServer2 日志是否可能。
    • 不。我一直在寻找 HiveServer2 矩阵或其他基于本地配置单元的方法,而不是解析 map-reduce 日志。
    猜你喜欢
    • 2019-08-04
    • 1970-01-01
    • 2012-04-03
    • 1970-01-01
    • 1970-01-01
    • 2011-03-04
    • 2010-09-09
    • 2021-05-09
    • 2015-03-28
    相关资源
    最近更新 更多