kafka 如何决定要轮询的记录数？

Question

我有一个 kafka 侦听器应用程序，它基本上是在使用列表中的消息，例如：-

public void consumeUniversalMetric(List<SomeClass> someClassList) {
//Do some processing
}

假设spring.kafka.consumer.max-poll-records=5。

1. 如果消息数量少于 5 条会怎样？
2. kafka 在创建大小为 5 的批次之前等待多长时间？

Answer 1

如果 Kafka 在 5000 毫秒内收到少于 5 条消息，它将默认使用 pollTimeout 和 5000 毫秒。

传入 Consumer.poll() 的超时时间。

来自https://docs.spring.io/spring-kafka/reference/html/

如果您想使用 Spring + Kafka 配置它，请在您的 application.yml 文件中使用

spring:
  kafka:
    consumer:
      properties:
        max.poll.interval.ms: 300000

Answer 2

控制这一点的两个消费者属性是fetch.max.wait 和fetch.min.bytes - 没有fetch.min.records 属性，因此您必须估计最小记录数（如果您想在少于5 条时等待）。