【问题标题】:Flink metric `flink_taskmanager_Status_JVM_CPU_Load{}` is not accurate in Grafana DashboardFlink metric `flink_taskmanager_Status_JVM_CPU_Load{}` 在 Grafana Dashboard 中不准确
【发布时间】:2021-11-03 08:13:12
【问题描述】:

我有一个简单的 Flink 工作,Kafka 的消耗率是 5,000/s

  • 并行度:1
  • 作业经理:1 GB
  • 任务管理器:2 GB
  • Flink 版本:1.10.2

但据我观察,CPU 使用率太低。所以我认为如果有可能,在这个版本中,Flink 指标是不准确的。或者可能是因为我配置了错误的 PromQL?

查询 Grafana 图表:

flink_jobmanager_Status_JVM_CPU_Load{exported_job='${jobmanager_prome_job}'}

更新任务管理器图表。

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    从您的标题来看,您实际上想要检查任务管理器的负载(无论如何,这在大多数情况下更有趣)。您能否调整您的 Grafana 图表以使用任务管理器而不是作业管理器并报告回来?请注意,仅当该机器上的所有内核都完全饱和时,CPU 才为 1。因此,如果您的机器中有 10 个内核,如果以并行度 1 运行,则最多只能获得 0.1 个内核。

    【讨论】:

    • 嗨,阿维德。我附上了任务管理器报告。您可以看到该比率永远不会达到 0.0125。这是否取决于我的集群/节点有多少 vCore?现在我们在 Yarn 集群上有 400 个 vCore。
    • 顺便说一句,我认为你是对的。当速率 X 核心数时,这是有道理的。谢谢!
    • 很高兴我能帮上忙。
    猜你喜欢
    • 2019-01-22
    • 2020-12-28
    • 2022-10-07
    • 2019-09-26
    • 2020-08-17
    • 2018-09-22
    • 2021-12-01
    • 2018-05-07
    • 1970-01-01
    相关资源
    最近更新 更多