增加 Kafka 中的主题数量导致 Zookeeper 失败答案

【问题标题】：Increase number of topic in Kafka leads zookeeper fail增加 Kafka 中的主题数量导致 Zookeeper 失败
【发布时间】：2016-05-16 04:07:15
【问题描述】：

我们计划将 kafka 用作物联网用例的消息代理，其中每个设备都被视为唯一主题。当我模拟每秒 10 条消息到 10000 个主题 Zookeeper 遇到瓶颈时，所有 Kafka 监控工具都无法从 JMX 端口读取吞吐量值和主题数量。将调整 zookeeper 将解决问题。在物联网用例中，将有数百万个设备轮询数百万个主题的数据。我想确保这种方法是完美的。请提出建议。

【问题讨论】：

这应该是可能的。但是很难给出一个普遍的答案；你的问题是广泛而复杂的。我只是想知道，为什么要为每个设备设置一个主题——在一个主题中使用不同的分区可能会更好......
@MatthiasJ.Sax 我只要求一个主题用于多个设备。有可能这样做还是我应该在一个主题中尝试不同的分区？我不知道该怎么做。
最简单的方法是创建一个有X个分区的主题，并在向主题写入数据时设置一个唯一的设备ID作为key。这将通过基于键的哈希分区自动确保来自单个传感器的所有数据都写入同一个分区。

标签： apache-kafka apache-zookeeper iot

【解决方案1】：

现在有另一个可用的解决方案 - 试用 Apache Pulsar。它的主题数量看起来很有希望，并且通常与 Kafka 非常相似，并且现在与 Kafka 兼容。 https://pulsar.apache.org/

【讨论】：

【解决方案2】：

你说得对，即使理论上你可以在 Kakfa 中拥有数百万个主题，但 Kafka 中的主题数是bound by Zookeeper，你不可能拥有数百万个主题。为每个设备创建主题/分区不是可扩展的解决方案。

您需要数百万个主题有什么原因吗？

【讨论】：