GCP 数据流无法找到 pubsub 订阅答案

【问题标题】：GCP Dataflow not able to find pubsub subscriptionGCP 数据流无法找到 pubsub 订阅
【发布时间】：2021-04-27 20:17:30
【问题描述】：

我的 GCP Dataflow 作业立即失败并显示以下错误消息：

Workflow failed. Causes: 
Subscription 'projects/project/subscriptions/subscription' not found. 
Please supply an existing subscription.

订阅确实存在，我可以在数据流 UI 中单击它。我之前已经能够运行这项工作，并且它有效。只有当我尝试重新部署它时才会出现错误。

编辑：这就是我获得 pubsub 订阅的方式

pipeline
.apply(PubsubIO.readProtos(...)
.fromSubscription(options.getSubscription()))

【问题讨论】：

订阅是由带有主题的 IO 连接器自动创建的，还是您明确创建的？它可能已被删除。您可以使用 gcloud cli 验证订阅是否真实存在：cloud.google.com/sdk/gcloud/reference/pubsub/subscriptions/list。
您能分享您获得并连接到订阅的代码吗？
@guillaumeblaquiere：当然，用我用来阅读 pubsub 订阅的代码更新了帖子。就像我说的，这段代码在几周前运行良好，但最近几次部署，我不得不重新部署大约 20 次，直到它获得订阅。
pubsub 订阅 100% 存在，这不是错字。如果我重新部署作业的次数足够多，它会起作用，但需要几个小时的反复重新部署
@guillaumeblaquiere 如果您/其他人遇到此问题，这是 Google 正在努力修复的 GCP 中的错误。同时，将 pubsub 查看器权限添加到服务帐户。

标签： google-cloud-platform google-cloud-dataflow

【解决方案1】：

工作流程失败。原因：未找到订阅“”。请提供现有订阅。

从错误消息来看，数据流管道似乎看不到 pubsub 订阅主题。检查服务帐户的权限表明它已经具有“pubsub.subscription.consume”权限。一切看起来都没有问题。因此，我们向 Google Cloud 团队报告了这个问题，结果发现其他开发人员也面临着类似的问题。 Google Cloud 已经为此创建了一个错误。

同时，在数据流部署中遇到此问题的人可以通过向数据流服务帐户添加“pubsub.subscriptions.get”权限来解决它。

【讨论】：