我什么时候应该使用批量消费者与单记录消费者

Question

据我所知，Apache Kafka 文档中没有批量消费者等特殊概念，但 spring-kafka 可以选择使用以下代码 sn-p 创建批量消费者。

@Bean
public KafkaListenerContainerFactory<?> batchFactory() {
    ConcurrentKafkaListenerContainerFactory<Integer, String> factory =
            new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerFactory());
    factory.setBatchListener(true);  // <<<<<<<<<<<<<<<<<<<<<<<<<
    return factory;
}

现在我的问题是，

我什么时候应该使用批量消费者和单条记录消费者？有人可以分享几个用例来解释单记录消费者与批量消费者的用法

根据下面的线程，单记录消费者与批量消费者之间的主要区别是从轮询列表中向侦听器处理了多少条记录。

What's the basic difference between single record kafka consumer and kafka batch consumer?

Answer 1

如果您想在一个 SQL 语句中将多条记录中的数据发送到数据库（这可能比一次发送一条更有效），则可能是使用批处理侦听器的一个示例。

另一种情况是，如果您正在使用事务；同样，使用一个事务进行多个 SQL 更新可能更有效。

一般来说，这是一个性能考虑；如果这不是问题，那么更简单的一次处理可能更合适。