Kafka 消费者 - 如何添加主题

Question

在一个场景中，我有 N 个消费者（所有消费者都有 1 个流/没有分区），每个消费者都订阅了一组单独的主题，如何处理生产者添加的新主题？

我应该为每个添加的主题创建新的消费者吗？ 或者我可以将此主题添加到已经工作的消费者吗？ （怎么做？）

或者更好地保留 1 个具有 N 个消费者的消费者组，而不是在 N 个消费者（流）之间划分主题？

Answer 1

如上所述，在同一消费者组的消费者之间划分主题的初始配置根本不好。 消费者将无法互相失败，因为他们有不同的主题列表。 Kafka 会发出不必要的重新平衡。

您不需要为每个添加的主题添加消费者 - 您最好从头开始使用所有此类主题，将它们添加到 /MYTOPICS/* 等公共路径

您最好按分区划分主题，并在需要时添加新分区。 这将是透明且不费力的。