Kafka 存储的消息多于 Produced

Question

我有一个具有以下设置的 apache-kafka 0.8 集群 -

1) 3 个代理都在同一台机器上运行
2) 一个topic，10个partition，3个replicas。

我有 20 位制作人为一个主题制作。
我有 10 个消费者从每个分区消费。 我正在测试代理的故障安全性。

当所有代理都启动并运行时，消耗的消息数等于产生的消息数。

但是，当我通过逐个关闭代理来测试设置时，我发现消耗的消息数量多于产生的消息数量。

可能的原因是什么？

Answer 1

首先想到：

除非您为每个代理使用单独的磁盘，否则强烈建议您为每个代理使用单独的计算机。这是因为每个磁盘都有 broker 想要利用的最大 I/O 吞吐量，如果您有多个 broker 使用同一个磁盘，所有 broker 都会竞争 I/O。

您以多快的速度让经纪人倒闭？即时杀戮还是优雅关机？距离下一个经纪人被杀还有多长时间？您的消息确认级别是多少？您生成消息的速率是多少？

如果你杀死一个代理的速度太慢，那么生产者可能已经向垂死的代理发送了一条消息，由于竞争条件，它可能已经复制了它，但它不会在它死亡之前向生产者发送确认。这会导致生产者认为消息没有成功复制，然后它会尝试将相同的消息发送给新的领导者。新领导者会认为重复的消息是一条新消息，因此将其添加到日志中。

这是一种竞争条件，除非在高生产率和确认级别为 -1 的情况下，否则不太可能发生。