kafka 代理中处于 CLOSE WAIT 状态的 TCP 端口过多答案

【问题标题】：Too many TCP ports in CLOSE WAIT condition in kafka brokerkafka 代理中处于 CLOSE WAIT 状态的 TCP 端口过多
【发布时间】：2019-07-11 22:26:06
【问题描述】：

太多的 TCP 连接在 kafka 代理中处于 CLOSE_WAIT 状态，导致 kafka 客户端出现 DisconnectionException。

tcp6 27 0 172.31.10.143:9092 172.31.0.47:45138 已建立 -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:41612 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.0.47:45010 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:43000 CLOSE_WAIT -
tcp6 194 0 172.31.10.143:8080 172.31.20.219:45952 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.20.219:48006 CLOSE_WAIT -
tcp6 1 0 172.31.10.143:9092 172.31.0.47:44582 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:42828 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:41934 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:41758 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:41584 CLOSE_WAIT -
tcp6 25 0 172.31.10.143:9092 172.31.46.69:41852 CLOSE_WAIT -
tcp6 1 0 172.31.10.143:9092 172.31.0.47:44342 CLOSE_WAIT -

debezium 中的错误

连接产品 | 2019-02-14 06:28:54,885 信息 || [Consumer clientId=consumer-3, groupId=4] 向节点 2 发送获取请求 (sessionId=1727876188, epoch=INITIAL) 时出错：org.apache.kafka.common.errors.DisconnectException。 [org.apache.kafka.clients.FetchSessionHandler] 连接产品 | 2019-02-14 06:28:55,448 信息 || [Consumer clientId=consumer-1, groupId=4] 向节点 2 发送获取请求 (sessionId=1379896198, epoch=INITIAL) 时出错：org.apache.kafka.common.errors.DisconnectException。 [org.apache.kafka.clients.FetchSessionHandler]

这背后的原因是什么？

【问题讨论】：

标签： apache-kafka

【解决方案1】：

这似乎是 Kafka 2.1.0 中的一个已知问题。

https://issues.apache.org/jira/browse/KAFKA-7697

我认为卡在 Close_wait 中的连接是实际问题的副作用。

这个问题已经在 Kafka 版本 2.1.1 中得到修复，应该会在几天后发布。期待它。

【讨论】：