Google Cloud Pub/Sub to BigQuery 模板主题订阅

Question

在创建新的 Dataflow Pub/Sub to BigQuery 模板时，可以指定 PubSub topic。似乎无法提供现有的 PubSub subscription，而是 Dataflow 模板在每次运行时都会创建一个新订阅。

据我了解 PubSub 模型，确保我们继续从主题中的同一位置读取数据的唯一方法是重用相同的订阅，这里似乎没有这样的选项。

当用户想要重新部署这样的 Dataflow 模板时会发生什么？我们会丢失部署之间的所有数据吗？

Answer 1

您说得对，Google 提供的 Pub/Sub to BigQuery 模板不支持将订阅作为参数传递（here 是 google 员工确认这一点的较早答案）。但是，应该很容易对其进行编辑，以便这样做。您只需将 getInputTopic 替换为 getSubscription 等效项。反过来，这应该传递给PubsubIO.readMessagesWithAttributes().fromSubscription (options.getSubscription()) 方法（参见here）而不是fromTopic。创建新管道后，您需要创建并暂存您的 template。