【问题标题】:Dataflow job drain does not end and system latency grows for a long time数据流作业消耗未结束,系统延迟长时间增长
【发布时间】:2019-08-23 15:55:54
【问题描述】:

我们有一个以任一结尾的数据流管道

  • 向“完成”主题发送 PubSub 消息或

  • 向“DLQ”或“RETRY”主题发送 PubSub 消息

这是数据管道的图表:

这是系统延迟问题,尽管所有 6 个元素都已成功处理:

对于我们在两个主题上都发送了一些消息的情况,数据流无法识别成功结束并且系统延迟增加并且排空卡住了!

【问题讨论】:

  • 如果可能,您能否详细说明您的用例并可能分享管道代码。
  • 我添加了管道图以使其更清晰,谢谢。
  • 这很奇怪。为了更好地调查此问题,我们可能需要查看特定于作业的日志和指标。我建议向支持团队开一张票。
  • 正如@Ankur 所说,如果您有支持包,我建议您打开支持票。否则,请在public issue tracker 中打开一个问题

标签: google-cloud-platform google-cloud-dataflow google-cloud-pubsub


【解决方案1】:

我们发现该事件发生在您错过发布/订阅主题时,特别是在我们的案例中,忘记创建 DLQ 主题。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-07-31
    • 2020-11-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多