拥有众多消费者的 Clickhouse kafka 表引擎

Question

我计划通过使用以下方法将我的 kafka 主题提取到 SummingMergeTree 中来对 Clickhouse 进行一些测试：https://clickhouse.yandex/docs/en/table_engines/kafka/

对于我在开发环境中的测试，我不怕量，但在生产环境中，我们已经在消费这些主题，我们必须让许多消费者能够在消息被推送时尽快阅读.我的问题是：Clickhouse 有没有办法在一张带有 kafka 引擎的桌子上拥有许多 kafka 消费者？

谢谢，

浪漫

Answer 1

阅读文档，Kafka 引擎中的num_consumers 参数似乎正是您所需要的：

num_consumers – 每个表的消费者数量。默认值：1. 指定 如果一个消费者的吞吐量不足，则更多的消费者。这 消费者总数不应超过分区数 在主题中，因为每个分区只能分配一个消费者。