重新分配 __consumer_offsets 主题的分区会导致问题吗？

Question

我们正在运行 25 个经纪人。但是 __consumer_offsets 主题的分区仅分布在 3 个代理上，并且它并没有像我们预期的那样完全可用。这可能不是问题，因为 kafka 支持跨代理重新分配分区。但我们犹豫重新分配它们，因为主题是 __consumer_offsets。

集群信息：

• 代理版本：0.11.0.2
• 经纪人数量：25

__consumer_offsets 主题状态：

• 分区数：50
• 副本数：3
• Broker spread : 3（50 个分区放在 3 个分区上）

我的问题是：重新分配 __consumer_offsets 主题的分区是否会导致问题？

Answer 1

您可以重新分配 __consumer_offset 的分区，不会有任何问题，因为它的重新分配与其他主题的处理方式相同

Answer 2

目前，我们使用的是 Kafka 2.11-1.1.1。我在重新分配 consumer_offset 的某些分区时遇到了问题。由于 fetcher 线程中的此异常，它导致所有 Kafka 实例的滚动重启。

kafka.common.OffsetsOutOfOrderException: Out of order offsets found in append to __consumer_offsets-31.

我不知道为什么，但我认为我们应该在沉默时间这样做。