Stackdriver：来自特定数据流 PCollection 输出的 ElementCount答案

【问题标题】：Stackdriver: ElementCount from Specific Dataflow PCollection OutputStackdriver：来自特定数据流 PCollection 输出的 ElementCount
【发布时间】：2017-05-03 19:58:53
【问题描述】：

我有一个数据流作业，它从多个 Google Pub/Sub 主题中提取消息，对这些消息中包含的各个元素进行一些并行处理，然后传递集合以供各种资源进一步使用。我想整理一个 Stackdriver 信息中心，显示为每个主题处理了多少个单独的元素。每个 ParDo 步骤都会输出一个 PCollection。

我已经使用 ElementCount 设置了仪表板，但我只能按作业过滤，而不是按步骤过滤。如果我将鼠标悬停在使用 ElementCount 生成的图表中的线条上，我可以看到每一步的计数。事实上，这些指标似乎正在被报告，因为我可以通过以下方式使用 gcloud 命令行实用程序：

gcloud beta dataflow metrics list [jobid] --filter ElementCount

...
name:
  context:
    original_name: extract_value_topic_1/Map-out0-ElementCount
    output_user_name: extract_value_topic_1/Map-out0
  name: ElementCount
  origin: dataflow/v1b3
scalar: 7000
updateTime: '2017-05-03T18:13:22.804Z'
---
name:
  context:
    original_name: extract_value_topic_2/Map-out0-ElementCount
    output_user_name: extract_value_topic_2/Map-out0
  name: ElementCount
  origin: dataflow/v1b3
scalar: 12000
updateTime: '2017-05-03T18:13:22.804Z'

我有其中几个，但我没有看到基于它们构建 Stackdriver 图表的简单方法（除了将处理的每个元素记录到控制台然后使用它生成基于日志的指标，但这似乎就像它在许多级别上都非常低效。）我错过了什么吗？如何根据这些 ElementCounts 创建图表？

编辑：此外，如果我打开 Metrics Explorer，我可以在搜索框中输入 dataflow/job/element_count，然后在过滤器框中输入 pcollection，但我无法使用此图表作为过滤器构建仪表板仪表板图表构建器中的选择不允许按 pcollection 进行过滤。

【问题讨论】：

标签： google-cloud-dataflow stackdriver apache-beam

【解决方案1】：

很遗憾，您目前无法在指标标签上构建带有过滤器的仪表板。正如您所注意到的，新的（Beta 版）Metric Explorer 提供了过滤功能，而 Stackdriver 团队也在积极致力于为仪表板图表提供该功能。如果我从 Stackdriver 团队收到任何进一步的更新或详细信息，我会跟进。 ——安德烈亚

【讨论】：

很遗憾，尽管这不是我们报告功能的关键部分；它只是让上级发痒的东西，我们可以在大厅里展示一些东西。同时，您是否知道使用自定义指标或类似方法的任何变通方法？
Stackdriver API：developers.google.com/apis-explorer/#p/monitoring/v3 允许您过滤标签。因此，您当然可以定义一个自定义指标，将标签和指标名称组合在一起以生成唯一的指标名称。但我不认为我会建议这样做。我不确定您的时间表是什么，但我确实感觉到，在不久的将来，Stackdriver 将提供此功能。