【问题标题】:How to find the byte rate of Consumers Kafka如何找到消费者Kafka的字节率
【发布时间】:2020-11-24 14:14:32
【问题描述】:

我创建了一个使用 Kafka 的应用程序。那么我怎样才能知道我的消费者读取了多少 MB/秒?

我的主题只有一个分区

【问题讨论】:

    标签: apache-kafka jmx jconsole mbeans


    【解决方案1】:

    您是否在使用 Java Kafka 消费者 API?如果是,则它会公开一些 JMX 指标,并且会公开一些更特定于消费者获取的指标。你可以在这里看到它们: https://kafka.apache.org/documentation/#consumer_fetch_monitoring

    【讨论】:

    • 我尝试通过带有 kafka.tools.JmxTool 或 Jconsole 的 cli 找到它,但是当我打开 Jconsole 时,我没有找到相关信息。另外,当我使用 kafka.tools.JmxTool 时,我会遇到一些错误
    • 如果你运行你的应用程序设置这个环境变量,你应该能够看到指标KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false " 这实际上是例如 kafka-console-consumer 脚本所做的。如果您想从代码中获取指标,KafkaConsumer 应该有一个 metrics 方法。
    • 我在我的 kafka 容器中定义了KAFKA_JMX_OPTS。我应该在我的应用程序的环境中定义KAFKA_JMX_OPTS 吗?我可以通过Jconsolekafka.tools.JmxTool 访问代理指标。还有什么方法可以使用kafka.tools.JmxTool 获取消费者指标?
    猜你喜欢
    • 2017-01-04
    • 1970-01-01
    • 1970-01-01
    • 2014-12-31
    • 1970-01-01
    • 1970-01-01
    • 2017-09-07
    • 1970-01-01
    • 2020-09-19
    相关资源
    最近更新 更多