Kubernetes 中的 Kafka 问题答案

【问题标题】：Kafka issue in kubernetesKubernetes 中的 Kafka 问题
【发布时间】：2020-09-26 20:25:44
【问题描述】：

当任何消息推送到 Kafka 主题时，我会看到以下消息。我的消息仅包含 5 个元素，它是纯文本，它不会超过 300 个字符，但仍会出现以下错误。

WARN [SocketServer brokerId=0] Unexpected error from /127.0.0.1; closing connection (org.apache.kafka.common.network.Selector)
org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 1920298859 larger than 504857600)
        at org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:104)
        at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:381)
        at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:342)
        at org.apache.kafka.common.network.Selector.attemptRead(Selector.java:609)
        at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:541)
        at org.apache.kafka.common.network.Selector.poll(Selector.java:467)
        at kafka.network.Processor.poll(SocketServer.scala:689)
        at kafka.network.Processor.run(SocketServer.scala:594)
        at java.lang.Thread.run(Thread.java:748)

如果在 8 到 10 小时左右长时间没有活跃的消费者，kafka 本身会在 Kubernetes 中杀死。

我想要一些好的文章来在 Kubernetes 中设置 Kafka 集群，感谢任何帮助。

【问题讨论】：

标签： kubernetes apache-kafka

【解决方案1】：

1920298859 是一个可识别的值，它是ruok 解码为整数：

>>> struct.unpack("!I", struct.pack("!4s", "ruok".encode("UTF8")))
(1920298859,)

您似乎有一些 Zookeeper 工具/健康检查试图连接到 Kafka。 ruok 命令应该只发送到 Zookeeper 主机。 Kafka 只接受来自 Kafka 客户端的连接。

【讨论】：

感谢 Mickael，您能否提供一些有关 kube 环境中 kafka 的见解。
“一些见解”是什么意思？在您的帖子中，实际上没有问题！我猜你问的是你粘贴的异常。