【问题标题】:How to read Cloud Dataflow Job metrics using dataflow api如何使用 dataflow api 读取 Cloud Dataflow Job 指标
【发布时间】:2020-09-02 18:14:22
【问题描述】:

我正在尝试读取云数据流 (java) 接收器属性,尤其是写入的元素,以了解写入接收器的行数。有一个可行的例子吗?请提供一些指点。

谢谢

【问题讨论】:

    标签: google-cloud-platform google-cloud-dataflow apache-beam


    【解决方案1】:

    job/element_count 指标是添加到 PCollection 中的元素数量,但它每 60 秒采样一次,它可以通过标签指定 Job ID 和 PCollection。该指标有助于查看在给定分钟内向 PCollection 添加了多少元素。

    此指标并不表示在给定的分钟内处理了多少元素。对于流式作业,您可以使用 job/total_streaming_data_processed 指标,该指标提供此 Dataflow 作业处理的流式数据的总字节数。这也是每 60 秒采样一次。

    要了解随着时间推移您的工作在做什么,除了为 Dataflow 定义的 Stackdriver 指标之外,您还可以通过 Metrics 类使用您自己的用户计数器。该指标显示为 job/user_counter,带有指标名称、作业 ID 和 PTransform 的标签。

    请注意,当您在 Dataflow 中定义自定义指标时,您必须遵守 custom metric naming conventions。另请查看使用Stackdriver Monitoring的文档。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-06-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多