每秒多少 Kafka 提交太多答案

【问题标题】：how many is too many Kafka commits per second每秒多少 Kafka 提交太多
【发布时间】：2015-04-23 13:16:00
【问题描述】：

我读到你不应该经常向 Kafka 高级消费者提交偏移量，因为每次提交都是对 Zookeeper 的写入，因此你可以减慢 Zookeeper 的速度，因为它在其仲裁中是强一致的。

我的问题是，对 Zookeeper 的大量写入被认为是什么？我每秒发送 10 条消息，如果我有能力在每条消息后提交，这将使我的系统更好，但这是很多吗？我真的不知道。在开始对我们满载的 kafka 集群进行测试之前，我希望能有一些想法。

【问题讨论】：

【解决方案1】：

如果您查看此图表，您会看到，如果您只有写入，他们的示例设置（3 个双 2Ghz Xeon 和两个 SATA 15K RPM 驱动器）可以处理约 80000 次写入/秒。

【讨论】：