生产者在 kafka 重启时丢失了一些消息

Question

卡夫卡客户端：0.11.0.0-cp1 卡夫卡经纪人：

在 Kafka 代理滚动重启时，我们的应用程序在发送到代理时丢失了一些消息。我相信滚动重启不应该有任何消息丢失。这些是我们正在使用的生产者（使用带有异步发送（）的生产者而不使用回调/未来等）设置：

val acksConfig: String = "all",
val retriesConfig: Int = Int.MAX_VALUE,
val retriesBackOffConfig: Int = 1000,
val batchSize: Int = 32768,
val lingerTime: Int = 1,
val maxBlockTime: Int = Int.MAX_VALUE,
val requestTimeOut: Int = 420000,
val bufferMemory: Int = 33_554_432,
val compressionType: String = "gzip",
val keySerializer: Class<StringSerializer> = StringSerializer::class.java,
val valueSerializer: Class<ByteArraySerializer> = ByteArraySerializer::class.java

我在日志中看到了这些异常

2019-03-19 17:30:59,224 [org.apache.kafka.clients.producer.internals.Sender] [kafka-producer-network-thread | producer-1] (Sender.java:511) WARN  org.apache.kafka.clients.producer.internals.Sender  - Got error produce response with correlation id 1105790 on topic-partition catapult_on_entitlement_updates_prod-67, retrying (2147483643 attempts left). Error: NOT_LEADER_FOR_PARTITION

但是日志说重试尝试离开了，我很好奇为什么没有重试呢？如果有人有任何想法，请告诉我？

Answer 1

需要注意的两点：

1. 您正在生成的主题的复制因子是多少？所需的 min.insync.replicas 数量是多少？
2. “生产者丢失了一些消息”是什么意思。如果生产者不能成功地生产到#min.insync.replicas 代理，它将抛出异常并失败（对于同步生产）。在失败（同步或异步生产）的情况下重试由生产者/客户端决定。