【问题标题】:Google Cloud Dataflow Pipeline Setup谷歌云数据流管道设置
【发布时间】:2015-09-21 18:39:24
【问题描述】:

我目前有一个管道设置并正在处理流式 PubSub 消息。由于这是一个 Streaming 管道,它将无限期地运行。我想知道两件事。

  • 是否存在这样的运行管道可能会在没有用户干预的情况下自动停止的情况?就像 Pubsub 是否在很长一段时间内用完消息等等......如果是这种情况,那么我可能需要对管道的生命周期进行一些监控。
  • 我希望保持一个独特的管道 - 所以每次我希望做出改变时,我都想杀死旧的,然后开始一个新的。我猜管道的名称唯一地标识了它,因此,当具有相同名称的旧管道正在运行时,我无法启动新管道。但是有没有办法可以杀死启动具有相同名称的管道?

    这两个问题都围绕着维护具有特定任务的管道。如果有任何关于最佳实践的资源,那也会很有帮助。

【问题讨论】:

    标签: google-cloud-platform google-cloud-dataflow


    【解决方案1】:

    对于您的第一个问题,流式管道没有自动机制或 TTL - 它们将一直运行直到用户取消。

    对于管道维护,Dataflow 具有“更新”功能,可用于使用新代码更新管道(同名):https://cloud.google.com/dataflow/pipelines/updating-a-pipeline

    【讨论】:

    • 谢谢。这很有帮助。我想我错过了阅读文档中有关更新部分的内容。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-08-31
    • 2021-03-15
    • 2022-11-26
    • 1970-01-01
    • 2017-05-23
    相关资源
    最近更新 更多