Flume Kafka Channel 是否总是仅限于单个内部 Kafka 消费者？

Question

根据 Kafka 文档：可以通过拥有一个具有多个分区的主题，然后创建一个消费者组，该消费者组最多具有与分区数量一样多的消费者实例，从而提高 Kafka 的吞吐量。这样每个消费者实例都被分配了自己的分区。

我可以创建一个包含多个分区的主题，然后配置 flume-kafka-channel 以使用该主题。

但是，无论主题有多少个分区，flume-kafka-channel 都只会创建一个消费者（至少基于我在 Flume 日志中看到的内容）。

有没有一种方法可以配置 Kafka 通道以产生与分区一样多的消费者？

我猜答案是否定的，因为一个频道可能只有一个来源。

Answer 1

您可以使用相同的消费者组 id 运行多个 Flume 代理，以便所有代理可以共享分区。例如：如果您的主题有 20 个分区并且您运行 4 个水槽代理，那么每个水槽代理被分配到 5 个分区。 我认为这是在 Flume 中实现与 Kafka Channel 并行的唯一方法。