Stackdriver 上未显示 Google Dataflow 自定义指标

Question

我正在尝试通过使用 Metrics.counter 和 Metrics.gauge 测量部分数据流作业来更深入地了解我的数据流作业，但我在 Stackdriver 上找不到它们。

我有一个高级 Stackdriver 帐户，可以在 Dataflow UI 的“自定义计数器”部分下看到这些计数器。

我可以在 Stackdriver that seems to be created via Metrics.counter as well 上看到 droppedDueToLateness 'custom' 计数器...

除此之外，还有一点可能会有所帮助，那就是当我导航 https://app.google.stackdriver.com/services/dataflow 时，我收到的消息是： “您没有任何此类资源被 Stackdriver 监控。”这也很奇怪。好像我们的 Cloud Dataflow 没有正确连接到 Stackdriver，但是，另一方面。一些指标被显示并且可以被监控，例如系统延迟、水印年龄、经过的时间、元素计数等......

我错过了什么？

问候

Answer 1

自定义指标命名约定

在 Dataflow 中定义自定义指标时，您必须遵守 custom metric naming conventions，否则它们将不会显示在 Stackdriver 中。

相关sn-p：

您必须遵守以下指标标签拼写规则 名称：

• 您可以在中使用大小写字母、数字、下划线 (_) 名字。
• 名称可以以字母或数字开头。
• 指标标签名称的最大长度为 100 个字符。

如果您使用

创建指标

Metrics.counter('namespace', 'name')

该指标在堆栈驱动程序中显示为 custom.googleapis.com/dataflow/name，因此“名称”应遵守上述规则。 Stackdriver 似乎没有使用命名空间。

附加：标签

以这种方式定义时，似乎无法为指标添加标签。但是，度量的每个时间序列的完整描述是一个字符串，格式为

'name' job_name job_id transform

所以您可以按这 4 个属性（+ 区域和项目）进行聚合。