Kafka：不断获取 FETCH_SESSION_ID_NOT_FOUND答案

【问题标题】：Kafka: Continuously getting FETCH_SESSION_ID_NOT_FOUNDKafka：不断获取 FETCH_SESSION_ID_NOT_FOUND
【发布时间】：2020-02-17 10:15:52
【问题描述】：

我不断收到 FETCH_SESSION_ID_NOT_FOUND。我不确定它为什么会发生。任何人都可以请我这里有什么问题以及对消费者和经纪人的影响。

Kafka 服务器日志：

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Kafka 消费者日志：

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

集群详情：

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)

【问题讨论】：

我在使用 Kafka Java 客户端 2.3.1 版时遇到了同样的错误。有人有什么想法吗？
@BertS.增加这个值max.incremental.fetch.session.cache.slots
嗨@HrishikeshMishra 这是你为这个问题找到的解决方案吗？您是否会考虑将其添加为您帖子的答案，如果可能的话，请稍加解释。我遇到了同样的问题，我将测试您的上述解决方案。
这是一个信息日志。忽略它有什么影响？
消费者如何从这个永无止境的循环中恢复过来？我正在使用 Springs KafkaListner，它不会抛出异常。

标签： apache-kafka

【解决方案1】：

这不是错误，它是 INFO，它告诉您您已连接，但它无法获取会话 ID，因为没有可获取的内容。

在日志中看到这条消息和flushing消息是正常的。

【讨论】：

【解决方案2】：

我一开始从1K增加到2K，第二步从2K增加到4K，只要没有用完限制，就没有出现错误：

在我看来，某些身份不明的消费者的会话泄漏，我还没有尝试 10K 限制，但阅读 Hrishikesh Mishra 的回答，我肯定会。因为，增加限制也降低了错误的频率，所以识别打开过多增量获取会话的个别消费者群体的问题，这里提到的How to check the actual number of incremental fetch session cache slots used in Kafka cluster?，最终可能无关紧要。

【讨论】：

【解决方案3】：

增加max.incremental.fetch.session.cache.slots 的值。默认值为 1K，在我的情况下，我已将其增加到 10K 并已修复。

【讨论】：

这是代理的设置吗？
是的，它的代理设置
消费者或生产者有什么可以做的吗？
生产者和消费者端不需要任何东西。
我在消费者身上看到了错误。我无权修改代理本身。我应该担心吗？