什么可能导致 Kafka `__consumer_offsets` 主题的巨大负载？答案

【问题标题】：What may cause huge load in Kafka `__consumer_offsets` topic?什么可能导致 Kafka `__consumer_offsets` 主题的巨大负载？
【发布时间】：2018-04-23 10:00:21
【问题描述】：

我在我的 Kafka 集群 (Kafka 0.11.0.0) 中进行了简单的观察。

根据 jmx 信息，__consumer_offsets 主题不断加载的消息是所有其他主题中所有消息的总和的 10 倍。我还将控制台消费者与这个主题联系起来，我可以测量类似的值。

可能是什么原因？
如何检查 Kafka 代理在做什么并自行生成这样的负载？

【问题讨论】：

如果你阅读了 __cosumer_offsets 主题，你可以知道 groupId 加载了什么。这应该有助于研究
感谢您的提示。但不幸的是，这个主题中的消息是二进制的，我什么也没看到：-(。

标签： performance apache-kafka load internal consumer

【解决方案1】：

阅读 __consumer_offsets 主题：

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

对于 kafka 11 使用格式化程序"kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

consumer.conf 有一行

exclude.internal.topics=false

【讨论】：

--formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter" --new-consumer 线程 "main" java.lang.ClassNotFoundException 中的异常：java.net 上的 kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter。 URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at ... at kafka.tools.ConsoleConsumer$ConsumerConfig.(ConsoleConsumer.scala:318) at kafka .tools.ConsoleConsumer$.main(ConsoleConsumer.scala:51) 在 kafka.tools.ConsoleConsumer.main(ConsoleConsumer.scala)
kafka_2.12-0.11.0.1
是的。适用于 9 和 10。我会在 11 中寻找解决方案
试试 kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter
还有一条评论。我们找到了造成这种巨大负载的原因。 Flink 默认使集群/客户端每 10 毫秒同步一次！对于 flink 来说，这可能是一个很好的默认值，但这可能会破坏代理的性能。

【解决方案2】：

对于 2.2 版的 kafka，这是一个演示：

kafka_2.12-2.2.1/bin #

./kafka-console-consumer.sh --bootstrap-server  your-broker   --topic __consumer_offsets --formatter  "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

输出将是：

[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)

【讨论】：

我收到了Exception in thread "main" java.lang.ClassNotFoundException: kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter。你知道如何解决吗？我正在使用 kafka_2.12-2.3.0。