如何使用运行多个实例的 Kafka Streams 进行主题级别排序/计数

Question

我是 Kafka Streams 的新手，正在寻找一种方法来对跨分区的流数据进行排序。我的销售数据主题有 10 个分区，并根据已售商品进行分区。例如，杂货进入一个分区，饮料进入另一个分区。要求是每 15 分钟找出最畅销的 5 件商品。现在，如果我在 10 个节点上运行 10 个实例，每个分区将由一个专用消费者提供服务。在这种情况下，我们如何在所有分区中找到销量最高的 5 件商品？

Answer 1

您将需要使用单分区主题。

Kafka Streams 继承了代理和消费者的扩展模型，因此只有当您有一个单分区输入主题时，您才能处理所有数据。

参考：https://docs.confluent.io/current/streams/architecture.html#parallelism-model