卡夫卡经纪人领导者倾斜答案

【问题标题】：kafka Brokers Leader Skewed卡夫卡经纪人领导者倾斜
【发布时间】：2021-02-12 04:48:49
【问题描述】：

我有 10 个节点的 kafka 集群。kafka 代理和 zookeeper 都在每个节点上运行。最近我们添加了 3 个新节点 8 ,9 和 10，昨天 2 个节点关闭（2 和 4）。我有一个包含 60 个分区和 3 个复制的主题。在 kafka 管理器中，Brokers Skewed % 显示为 50，Brokers Leader Skewed % 显示为 70。我已从 UI 手动重新分配分区，Brokers Skewed % 现在为 0，但它没有更改 Brokers Leader Skewed %。我也运行了命令：

$ kafka-preferred-replica-election.sh  --zookeeper localhost:2181 --path-to-json-file test.json

Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..

但它并没有改变任何东西。我可以在 UI 上看到经纪人 8 和 10 没有领导者。我怎样才能在所有经纪人之间重新平衡领导者？我读到所有代理的集群滚动重启可以解决它，但我不能（在正常情况下）重启我的生产 Kafka 集群。

kafka version: 2.3.0
zookeeper version: 3.4.12

添加了 kafka 管理器屏幕截图，并用红色圆圈突出显示了问题。

我将不胜感激。

【问题讨论】：

标签： apache-kafka apache-zookeeper

【解决方案1】：

我能够解决这个问题。如果您仔细查看屏幕截图，您会注意到没有一个首选副本（Replicas 列的第一个条目）分配给代理 8 或 10，只有分区 37 将代理 9 作为首选副本，因此Preferred Replica Election 将不起作用.

我已经使用 Manual Partition Assignments（将代理 8,9 和 10 移动到 17 个分区 (6*3 -2) 中的副本 0）选项对首选副本进行了洗牌，然后运行 Reassign Partitions，然后运行 Preferred Replica Election。

希望对其他人有所帮助。

注意：最近添加了 8,9 和 10 节点。

【讨论】：