【发布时间】:2020-09-02 18:14:22
【问题描述】:
我正在尝试读取云数据流 (java) 接收器属性,尤其是写入的元素,以了解写入接收器的行数。有一个可行的例子吗?请提供一些指点。
谢谢
【问题讨论】:
标签: google-cloud-platform google-cloud-dataflow apache-beam
我正在尝试读取云数据流 (java) 接收器属性,尤其是写入的元素,以了解写入接收器的行数。有一个可行的例子吗?请提供一些指点。
谢谢
【问题讨论】:
标签: google-cloud-platform google-cloud-dataflow apache-beam
job/element_count 指标是添加到 PCollection 中的元素数量,但它每 60 秒采样一次,它可以通过标签指定 Job ID 和 PCollection。该指标有助于查看在给定分钟内向 PCollection 添加了多少元素。
此指标并不表示在给定的分钟内处理了多少元素。对于流式作业,您可以使用 job/total_streaming_data_processed 指标,该指标提供此 Dataflow 作业处理的流式数据的总字节数。这也是每 60 秒采样一次。
要了解随着时间推移您的工作在做什么,除了为 Dataflow 定义的 Stackdriver 指标之外,您还可以通过 Metrics 类使用您自己的用户计数器。该指标显示为 job/user_counter,带有指标名称、作业 ID 和 PTransform 的标签。
请注意,当您在 Dataflow 中定义自定义指标时,您必须遵守 custom metric naming conventions。另请查看使用Stackdriver Monitoring的文档。
【讨论】: