Reactor Kafka - 消费者数量大于分区数量时的瓶颈

Question

如果 kafka 消费者的数量（远）大于分区数量，分区数量是否会成为性能瓶颈？

假设我有一个名为 the-topic 的主题，只有三个分区。

现在，我有这个下面的应用程序，以便从主题中消费：

@Service
public class MyConsumer implements CommandLineRunner {

    @Autowired
    private KafkaReceiver<String, String> kafkaReceiver;


    @Override
    public void run(String... args) {
        myConsumer().subscribe();
    }

    public Flux<String> myConsumer() {
        return kafkaReceiver.receive()
                .flatMap(oneMessage -> consume(oneMessage))
                .doOnNext(abc -> System.out.println("successfully consumed {}={}" + abc))
                .doOnError(throwable -> System.out.println("something bad happened while consuming : {}" + throwable.getMessage()));
    }

    private Mono<String> consume(ConsumerRecord<String, String> oneMessage) {
        // this first line is a heavy in memory computation which transforms the incoming message to a data to be saved.
        // it is very intensive computation, but has been tested NON BLOCKING by different tools, and takes 1 second :D
        String transformedStringCPUIntensiveNonButNonBLocking = transformDataNonBlockingWithIntensiveOperation(oneMessage);
        //then, just saved the correct transformed data into any REACTIVE repository :)
        return myReactiveRepository.save(transformedStringCPUIntensiveNonButNonBLocking);
    }

}

我将应用程序 docker 化并部署在 Kubernetes 中。

借助云提供商，我能够轻松部署其中的 60 个容器和 60 个应用程序。

并假设为了这个问题，我的每个应用程序都具有超强的弹性，从不崩溃。

这是否意味着，由于主题只有三个分区，任何时候都会浪费 57 个其他消费者？

当分区数量较少时，如何从扩展容器数量中获益？

Answer 1

既然主题只有三个分区，那在任何时候，57个其他消费者会被浪费掉吗？

是的。这就是 Kafka 消费者 API 的工作方式。您围绕它使用的框架无关紧要。

当分区数量较少时，增加容器数量的好处

您需要将事件处理（保存到存储库）与实际消费/轮询循环分开。例如，将转换后的事件推送到非阻塞的外部队列/外部 API，而无需等待响应。然后在该 API 端点上设置自动缩放器。

Answer 2

这是否意味着，由于主题只有三个分区，任何时候都会浪费 57 个其他消费者？

是的。对于单个消费者组，您可以拥有与分区数量一样多的并发消费者。

当分区数量较少时，如何从扩大容器数量中获益？

您可能会尝试将这些容器中的每一个注册到分区数量不同的消费者组中。那可行。但是正如@OneCricketeer 所提到的，您应该有一个单独的事件处理管道。如果您不想多次处理同一个事件，那将是最好的方法。