【问题标题】:跨 GCP 项目重新发布 Google Cloud PubSub 消息
【发布时间】:2021-12-30 01:17:52
【问题描述】:

上下文

我正在开展一个项目,我们正在获取有关特定 GCP 项目中 PubSub 主题的实时数据STAGE-1。 我们还有其他 GCP 项目(我们将其视为较低级别的环境),例如 DEV-1QA-1 等,我们希望将这些消息重新发布到其中,因为数据实时数据仅在 STAGE-1 GCP 下补充主题项目。

问题

  • 有没有办法配置消息重新发布(桥接)到 GCP 项目中的其他 PubSub 主题?
  • 如果 Cloud PubSub 本身不支持这种设置,可以采用什么方法?

P.S.我是 PubSub 的新手。

提前致谢。干杯:)

【问题讨论】:

  • 只需创建多个订阅。尝试重新发布不是必要的,也不是一个好主意。
  • @JohnHanley 感谢您的快速回复。但这是要求,因为我们在不同 GCP 项目的较低级别环境中拥有这些主题。
  • 不过,您可以在其他项目的主题上创建订阅。是否还有其他要求导致此设置不起作用?

标签: google-cloud-platform design-patterns publish-subscribe messaging google-cloud-pubsub


【解决方案1】:

这里有关于这个的问题 =>

至少有一个可能的解决方案。

您需要为源项目中的原始主题创建额外订阅。该订阅将由某些“活动”组件使用(在任何项目中,受 IAM 访问给定订阅的权限)。

“活动”组件可以是云功能、云运行、数据流作业、应用程序引擎,或者在计算引擎上运行或在 k8s 集群上运行的东西...

在我看来,最简单的解决方案之一(但可能不是最便宜的,取决于您的上下文) - 使用流式数据流作业,它从源订阅读取并将消息推送到一个或多个目标主题 - 一种“桥梁”。

如果消息流(每次的消息数量)很大,或者您需要为许多(数十或数百个)源订阅提供服务 - 这可能是一个非常好的成本效益解决方案(从我的角度来看)。

如果您要为数据流作业开发定制模板,这是一个潜在的好处 - 您可以在数据流作业中实现额外的消息处理逻辑。

如果你需要一些“昨天”的东西,没有额外的转换是可以的,只有一个源订阅和一个目标主题,而不是谷歌提供的模板:Pub/Sub to Pub/Sub,可以“立即”使用。

【讨论】:

  • 您能否修复问题跟踪器链接以便我们可以单击它们?否则,很好的答案。
猜你喜欢
  • 2019-07-03
  • 1970-01-01
  • 2020-11-24
  • 2019-10-05
  • 2023-03-10
  • 2019-07-02
  • 1970-01-01
  • 2018-06-20
  • 1970-01-01
相关资源
最近更新 更多