Kafka 新生产者超时

Question

我正在使用新的 kafka 生产者客户端并将 timeout.ms 属性设置为 50 毫秒。

这里是生产者使用的完整配置：

props.put("acks", "1");
props.put("buffer.memory", "33554432");
props.put("retries", "1");
props.put("batch.size", "16384");
props.put("client.id", "foo");
props.put("linger.ms", "0");
props.put("timeout.ms", "50");

在某些高负载时刻的请求平均响应时间为 4 秒，但我没有收到任何超时错误。

有人知道这个超时是如何计算的，什么时候开始计算，什么时候结束？有没有办法配置超时从调用生产者的发送方法的那一刻开始？

Answer 1

新的timeout.ms 属性适用于生产者的ack 配置。例如考虑以下情况

ack = all
timeout.ms = 3000

在这种情况下，ack = all 表示领导者在收到完整同步副本 (ISR) 的确认之前不会响应，并且获得此确认的最大等待时间将是 3000 ms。如果在给定时间内没有收到预期数量的确认，它将返回错误。

另请注意，此属性不考虑网络延迟。

来自文档页面：

该配置控制服务器等待跟随者确认的最长时间，以满足生产者使用 acks 配置指定的确认要求。如果超时后未达到请求的确认次数，将返回错误。此超时是在服务器端测量的，不包括请求的网络延迟。

因此，如果领导者无法响应（在将记录写入自己的日志而无需等待来自所有关注者）在 50 毫秒内应该会抛出一个错误。

Answer 2

在新的 Kafka 2.0 Producer API 中，您可以使用以下属性之一： https://kafka.apache.org/documentation/#producerconfigs

查看https://kafka.apache.org/20/javadoc/index.html?org/apache/kafka/clients/producer/KafkaProducer.html上的使用示例

超时现在由max.block.ms 属性定义。