等效于 Google Cloud Platform 上的 Kafka / AWS Kinesis Stream

Question

我正在构建一个应用程序，该应用程序不断地附加到缓冲区，而许多读者独立地从该缓冲区中消费（一次写入多次读取 / WORM）。起初我想使用 Apache Kafka，但由于我更喜欢​​即服务选项，因此我开始研究 AWS Kinesis Streams + KCL，看来我可以用它们完成这项任务。

基本上我需要 2 个功能：排序（所有读取器必须以相同的顺序读取事件）以及选择缓冲区中从读取器开始消费的偏移量的能力。

现在我也在评估 Google Cloud Platform。在我阅读文档时，似乎建议将 Google Pub/Sub 等同于 AWS Kinesis Stream，但在更详细的层面上，这些产品似乎有很大不同：

• Kinesis 保证在分片内进行排序，而在 Pub/Sub 上的排序是在尽力而为的基础上进行的；
• Kinesis 拥有可供读者使用的所有缓冲区（最多 7 天），读者可以使用偏移量来选择开始阅读位置，而在 PubSub 上，只有订阅后的消息可供使用。

如果我没记错的话，PubSub 不能被视为 Kinesis 等价物。也许如果与 Google Dataflow 一起使用？我必须承认我仍然看不到怎么做。

那么，PubSub 是 Kinesis 的替代品吗？如果没有，是否有可以满足我要求的 Google Cloud 产品？

谢谢！

Answer 1

Pub/Sub 现在支持ordering natively。至于在消费之前存在订阅（Kafka 中的~consumer group）的要求，这对用户来说很少是问题。如果没有别的，您可以创建snapshots，它允许您将新订阅重置为任何其他现有订阅的状态。

这有点晚了，但是@Renan，如果你还在看，很想听听你最终是如何构建系统的。

Answer 2

一个相当复杂的解决方案，但它可能会有所帮助：

• 使用 pub/sub 将您的事件推送到单个主题。此时它们将是无序的。
• 创建从发布/订阅主题读取的云数据流流式传输管道。让它对云 bigquery 进行流式写入，为每个表条目添加时间戳。
• 有没有读者对bq表做查询，按时间戳排序，顺序一致。您可以使用 ROW_NUMBER 作为您的偏移量。

希望对您有所帮助。