【问题标题】:Can Beam/Dataflow keep state after you stop a pipeline and start a new one?停止管道并启动新管道后,Beam/Dataflow 可以保持状态吗?
【发布时间】:2019-01-18 12:53:32
【问题描述】:

我正在尝试了解数据流/Beam 如何管理状态。例如,当使用 kafka 流时,可以停止并重新启动您的应用程序并继续上一个状态。

Beam/Dataflow 有类似的可能性吗?

【问题讨论】:

    标签: google-cloud-dataflow apache-beam


    【解决方案1】:

    虽然您今天无法对 Dataflow 的状态进行快照,但您可以对 Dataflow 从中获取其数据的 Pub/Sub 订阅进行快照并稍后重新启动。查看 Cloud Pub/Sub Seek 和重播功能。更多关于集成的信息可以在here找到。

    【讨论】:

      猜你喜欢
      • 2019-07-14
      • 2021-12-15
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-01-25
      • 1970-01-01
      • 2012-01-25
      相关资源
      最近更新 更多