更换主机后，Kafka 副本不同步

Question

您好 Kafka/Zookeeper 用户，

我的团队有一个与 Apache zookeeper 配合使用的 kafka 集群。 kafka 托管在 EC2 上。由于多种原因，EC2 主机可能会关闭并被新主机替换。与之前的主机相比，新主机具有不同的代理 ID（ID 由 AWS 生成，而不是我们生成）。 此时，zookeeper 仍然具有先前主机是某些分区副本的旧状态。 尽管领导者重新选举成功，但新的替代主机并未以任何方式用作领导者或副本。

一段时间后，kafka 文档谈到“代理再次出现”，但在 EC2 世界中，主机被永久替换。

在分布式系统术语中，我们仅尝试处理“故障/恢复”故障模型，其中节点突然停止工作，然后恢复（可能不知道它们已经死亡）。

我明白其中的原因。 Zookeeper 包含每个分区的状态。该状态包含作为领导者和/或追随者的旧主机。当新主机出现时，此状态不会更新以包含新主机，直到我们手动运行命令来设置副本。

kafka 有没有办法自动利用新的代理作为领导者或 ISR？

这给我们的团队带来了很多操作负担，需要手动将新代理分配为副本并触发“首选领导者选举”。

Answer 1

可以通过开启配置auto.leader.rebalance.enable和调优leader.imbalance.per.broker.percentage自动触发首选领导选举。

但是，您面临的问题是：

不会自动为新服务器分配任何现有数据 分区，因此除非将分区移至它们，否则它们将不会执行 在创建新主题之前的任何工作。

看来你必须想出一个方案，在发生替换时能够自动执行kafka-reassign-partitions.sh 脚本。没有开箱即用的纯自动方案。