Spring Kafka - 试图了解幕后的工作原理

Question

考虑以下代码-

@Bean
public ConsumerFactory<String, String> consumerFactory() {
    Map<String, Object> props = new HashMap<>();
    props.put(
      ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, 
      bootstrapAddress);
    props.put(
      ConsumerConfig.GROUP_ID_CONFIG, 
      groupId);
    props.put(
      ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, 
      StringDeserializer.class);
    props.put(
      ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, 
      StringDeserializer.class);
    return new DefaultKafkaConsumerFactory<>(props);
}

@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> 
  kafkaListenerContainerFactory() {

    ConcurrentKafkaListenerContainerFactory<String, String> factory
      = new ConcurrentKafkaListenerContainerFactory<>();
    factory.setConsumerFactory(consumerFactory());
    return factory;
}

我创建了一个消费者工厂和一个并发 KafkaListenercontainer 工厂。我还没有为监听器工厂设置并发。 我有一个用@KafkaListener 注释的方法

@KafkaListener(topics = "topicName")
public void listen(String message) {
    System.out.println("Received Message: " + message);

当我不设置并发属性时，Spring会创建1个消费者实例，1个kafka监听器容器，属于消费者工厂中指定的组吗？

如果我将并发更改为 3，spring 会创建 3 个消费者实例，因此在配置消费者工厂和 3 个侦听器容器时指定同一消费者组中的 3 个消费者？

另外，根据并发性，假设我们现在只收听一个主题，我们将有 3 个用 @kafkalistener 注释的方法，如果未指定分区，则所有 3 个方法都收听不同的分区（由 kafka 以循环方式提供）。 ?

我是 Kafka 的新手，想澄清一下我的理解。

Answer 1

当我不设置并发属性时，Spring会创建1个消费者实例，1个kafka监听器容器，属于消费者工厂中指定的组吗？

您将有一个消费者从该主题的所有分区中获取事件。

如果我将并发更改为 3，spring 会创建 3 个消费者实例，因此在配置消费者工厂和 3 个侦听器容器时指定同一消费者组中的 3 个消费者？

您将拥有 3 个消费者实例，如果您在该主题中至少有 3 个分区，则每个分区都会从其中一个分区中获取事件。消费者将事件传递给该 KafkaListener 实例。

你可以更具体。

@KafkaListener(
  topicPartitions = @TopicPartition(topic = "topicName",
  partitionOffsets = {
    @PartitionOffset(partition = "0", initialOffset = "0"), 
    @PartitionOffset(partition = "3", initialOffset = "0")
}))
public void listenToParition(
  @Payload String message, 
  @Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition) {
      System.out.println(
        "Received Messasge: " + message"
        + "from partition: " + partition);
}

另外，根据并发性，假设我们现在只收听一个主题，我们将有 3 个用 @kafkalistener 注释的方法，如果未指定分区，则所有 3 个方法都收听不同的分区（由 kafka 以循环方式提供）。 ?

这毫无意义。首先，KafkaListeners 是 Spring Kafka 的高级抽象，Kafka 根本不会轮询（从消费者的角度来看，它与生产者不同），如果你有 3 个消费者（相同的消费者组+监听同一个主题），以及主题中的 3 个分区，Kafka 将重新平衡并将一个分区分配给一个消费者，每个消费者将仅从 Kafka 分配的分区中获取事件。 Spring Kafka 在收到每个消费者的事件后，会在 KafkaListener 实例中传递事件。