单个 Spring Kafka Consumer 侦听器可以侦听来自同一/一个分区的多条消息吗？

Question

提供了一个具有 n 个分区的主题。 Spring 的 KafkaConsumer 监听器有什么方法可以一次监听来自同一个/一个分区的多条消息？

我通过设置setBatchListener(true); 尝试了ConcurrentKafkaListenerContainerFactory，但消费者已经开始使用来自不同分区而不是一个分区的多条消息。

public class BatchReceiverConfig {

    @Value("${kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public Map<String, Object> consumerConfigs() {
        Map<String, Object> props = new HashMap<>();

        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "batch4");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        // maximum records per batch receive
        props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, "10");

        return props;
    }

    @Bean
    public ConsumerFactory<String, String> consumerFactory() {
        return new DefaultKafkaConsumerFactory<>(consumerConfigs());
    }

    @Bean
    public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() {
        ConcurrentKafkaListenerContainerFactory<String, String> factory =
                new ConcurrentKafkaListenerContainerFactory<>();
        factory.setConsumerFactory(consumerFactory());
        factory.setConcurrency(2);
        // enable batch listeners
//        factory.setBatchListener(true);

        return factory;
    }

    @Bean
    public BatchReceiver receiver() {
        return new BatchReceiver();
    }
}


/* Listener */
@KafkaListener(id = "batch-listener", topics = TOPIC_TEST_BATCH)
    public void receive(List<String> data,
                        @Header(KafkaHeaders.RECEIVED_PARTITION_ID) List<Integer> partitions,
                        @Header(KafkaHeaders.OFFSET) List<Long> offsets) {

        LOGGER.info("start of batch receive");
        for (int i = 0; i < data.size(); i++) {
            LOGGER.info("received message='{}' with partition-offset='{}'", data.get(i),
                    partitions.get(i) + "-" + offsets.get(i));
            // handle message

            latch.countDown();
        }
        LOGGER.info("end of batch receive");
    }

Answer 1

如果一个组中只有一个消费者，那么您可以将那个ConcurrentKafkaListener 中的concurrencyLevel 设置为n。

Answer 2

如果您使用组管理，Kafka 会为您的消费者分配分区。每个消费者（或使用并发时的线程）将获得 0、1 或更多分区，具体取决于有多少消费者和分区。

如果您希望特定消费者仅从一个分区获取消息，则必须自己分配分区，而不是让 Kafka 进行分配。

如果你使用并发容器；您必须分配与并发相同数量的分区，因此每个线程只能获得一个分区。