Kafka 0.8 中经纪人的分区重新平衡

Question

Kafka 0.8 相对稀缺的文档没有提到平衡代理上现有主题、分区和副本的预期行为是什么。

更具体地说，经纪人到达和经纪人（领导者与否）崩溃时的预期行为是什么？

谢谢。

Answer 1

我不久前已经测试过这 2 种情况，而且负载不重。我有一个生产者在一个由 2 个代理组成的集群上同步发送 10k 条消息（只是一个小字符串）到一个主题，复制因子为 2，有 2 个分区。有2个消费者。每个组件都部署在单独的机器上。我观察到的是：

• 正常运行时：broker 1 是分区 1 的领导者和分区 2 的副本。代理 2 是分区 2 的领导者和分区 1 的副本。将代理 3 带入集群不要自动触发分区上的重新平衡。

• 代理恢复时（崩溃而不是重新启动）：重新平衡对生产者和消费者是透明的。重新启动的代理首先复制日志，然后使自己可用。

• 代理崩溃（无论是否领导）：由任何一个代理上的 kill -9 模拟。生产者和消费者被冻结，直到被杀死的代理的 ZK 中的临时节点过期。之后，恢复正常运行。