Kafka regex-topics / 听多个主题的实际限制是什么答案

【问题标题】：What are the practical limits of Kafka regex-topics / listening to multiple topicsKafka regex-topics / 听多个主题的实际限制是什么
【发布时间】：2019-11-15 11:58:05
【问题描述】：

我正在探索不同的 PubSub 平台，我想知道 Kafka 在收听多个主题方面有哪些限制。例如考虑这个用例。我们有火车、车站入口、所有发布遥测数据的设备。目前这是在 MQ 上完成的，但随着数据速率的提高、智能列车等。我们需要转移到新的 PubSub/流媒体平台，当然 Kafka 也在该列表中。

在我看来，将遥测数据聚合成流有两种策略：

消费聚合，每个火车/设备最初都有自己的主题，主题聚合是使用正则表达式主题/虚拟主题完成的
对生产进行聚合，其中所有火车都生产到一个主题，消费者在必要时使用过滤器来挑选单个生产者

据我了解，Kafka 并不是特别适合大量主题（>10.000），但可以做到。一个正则表达式主题是否能够聚合 2000、3000 个主题？

【问题讨论】：

刚刚遇到了订阅超过 10000 个主题的问题。很高兴获得有关此的一些详细信息。
在同一个 kafka 集群上，我们有多个消费者组，每个消费者组有 400 多个与主题正则表达式匹配的主题。我们从未遇到任何问题。
@raphaelauv 我有一个特殊的消费者组订阅了 10K+ 主题，但无法正常工作。目前，我们已将消费者组分成 2 个，每个订阅约 5000 个主题

标签： apache-kafka publish-subscribe telemetry kafka-topic

【解决方案1】：

从技术角度来看，是可以做到的；但在实践中，这并不常见。为什么？动物园管理员。建议集群最多有 每个代理 4000 个分区。这部分是由于在 Zookeeper 上为所有这些节点执行领导者选举的开销。

我建议您在 Confluent 的博客上阅读这些关于这个有趣主题的博文：

【讨论】：