在 Cloudera Manager 中监控未决 YARN 应用程序的数量答案

【问题标题】：Monitoring quantity of pending YARN applications in Cloudera Manager在 Cloudera Manager 中监控未决 YARN 应用程序的数量
【发布时间】：2017-09-30 11:27:03
【问题描述】：

我需要构建一个图表，显示我在集群上有多少待处理（已接受）的 Hadoop 任务。为了更详细，我需要得到这个值：

yarn application -list -appStates ACCEPTED | grep ACCEPTED | wc -l

每 N 秒，构建实时图表进行监控。

我没有选择“从头开始”编写图表代码，而是选择了 Cloudera Manager 及其 Chart Builder，以简化创建此类图表。但是在 Cloudera 指标列表中，我找不到任何可以帮助我构建图表的指标（apps_ingested_rate 和 active_applications_across_yarn_pools 除外，但它们始终显示 0）。那么，是否有某种方法可以使用 Cloudera Manager 构建图表来监控未决 YARN 应用程序的数量？

Cloudera Manager 版本：5.11 免费。

【问题讨论】：

标签： charts monitoring hadoop-yarn cloudera cloudera-manager

【解决方案1】：

我不知道 Cloudera Manager 中是否提供此信息（因为我使用的是 HDP），但获取此信息的最简单方法之一是使用 YARN ResourceManager REST API’s。

待处理应用程序的数量直接由appsPending 字段中的Cluster Metrics API 端点 公开。

GET http://<rm http address:port>/ws/v1/cluster/metrics

# {
#   "clusterMetrics":
#  {
#    "appsSubmitted":0,
#    "appsCompleted":0,
#    "appsPending":0,

【讨论】：

【解决方案2】：

我没有使用免费版，但您应该可以使用“select apps_pending”构建图表。

您看不到任何内容的原因可能是您没有足够的作业使集群饱和，因此待处理的应用程序始终为零。要测试你可以运行一些作业并使用“select apps_submitted_rate”来验证您看到的数据是否正确。

【讨论】：