【发布时间】：2021-04-23 17:02:40
【问题描述】：
我正在使用 Kafka 2.0.0。
在__consumer_offset主题中，大部分分区为30MB，但有些分区很大。例如：1个分区为15GB，另一个分区为250GB等。
可能是什么问题？
【问题讨论】：
-
是否为
__consumer_offset启用了日志压缩？
标签： apache-kafka kafka-consumer-api
【发布时间】：2021-04-23 17:02:40
【问题描述】：
主题__consumer_offsets 存储Kafka Consumer Group 的每个订阅TopicPartition 的最新提交偏移量。在本主题中，ConsumerGroup 服务器作为键。
显然，与其他消费者组相比，属于同一分区的消费者组（应用 hash(key) % #partitions 逻辑）更加活跃（更频繁地消费更多消息）。
【讨论】：
-
有没有办法为该主题设置更平衡的分区？谢谢:)
-
我唯一能想到的就是拥有更多不同的 ConsumerGroup 名称。否则，我在这里看不到任何其他选项。如果尺寸太大，您可以查看kafka __consumer_offsets topic logs rapidly growing in size reducing disk space
-
我不这么认为。在主题内跨分区分发消息的逻辑不会随着时间而改变。
-
是的，这很正常，因为您的分区大小不同。