kafka 分区再平衡（分配）耗时太长

Question

我们正在使用具有 3 个服务器的 kafka 集群，它们都具有 zookeeper。我们有 7 个主题，每个主题有 6 个分区。每个主题有 3 个 java 消费者。当我启动消费者时，将分区分配给消费者几乎需要 3-5 分钟。当我们停止其中一个消费者并再次启动时会遇到相同的行为。如何控制或减少它？

请注意，我使用的是 kafka 0.9，带有新的消费者

我在每个 kafka 的 server.properties 中添加了以下属性

auto.leader.rebalance.enable=true
leader.imbalance.check.interval.seconds=10

如果您需要更多信息，请告诉我。 谢谢

Answer 1

检查您的消费者为“session.timeout.ms”使用的值。

默认值为 30 秒，直到该时间过去，协调才会触发重新平衡。 30 秒内没有心跳。

降低此值的危险在于，如果您处理消息的时间过长，可能会发生重新平衡，因为协调员会认为您的消费者已死。