【发布时间】:2019-08-23 15:55:54
【问题描述】:
我们有一个以任一结尾的数据流管道
向“完成”主题发送 PubSub 消息或
向“DLQ”或“RETRY”主题发送 PubSub 消息
这是数据管道的图表:
这是系统延迟问题,尽管所有 6 个元素都已成功处理:
对于我们在两个主题上都发送了一些消息的情况,数据流无法识别成功结束并且系统延迟增加并且排空卡住了!
【问题讨论】:
-
如果可能,您能否详细说明您的用例并可能分享管道代码。
-
我添加了管道图以使其更清晰,谢谢。
-
这很奇怪。为了更好地调查此问题,我们可能需要查看特定于作业的日志和指标。我建议向支持团队开一张票。
-
正如@Ankur 所说,如果您有支持包,我建议您打开支持票。否则,请在public issue tracker 中打开一个问题
标签: google-cloud-platform google-cloud-dataflow google-cloud-pubsub