来自不同组的 Kafka 消费者从不同的主题分区消费

Question

我有一个场景，我在不同的节点上部署了 4 个 Kafka Consumer 实例。我的主题有 4 个分区。现在，我想配置消费者，使它们都从主题的不同分区中获取。

我知道如果消费者来自同一个消费者组，他们会确保分区被平均分割。但就我而言，它们不在同一组中。

Answer 1

为了实现你想要的，你需要消费者在同一个消费者组中。只有在这种情况下才会应用“竞争消费者”模式：每个消费者从 4 个分区中接收 1 个分区，因此您有 4 个消费者，每个消费者从 1 个分区读取并接收该分区的消息。 当消费者属于不同的消费者组时，每个消费者将被分配到所有 4 个分区，以发布/订阅的方式接收来自所有这些分区的消息。