如何为 kafka 消费者 java 应用程序编写性能测试？答案

【问题标题】：How to write performance test for kafka consumer java application?如何为 kafka 消费者 java 应用程序编写性能测试？
【发布时间】：2019-02-28 15:01:34
【问题描述】：

我是卡夫卡的新手。我使用 spring boot 编写了一个 kafka 消费者应用程序。该应用程序使用来自 kafka 的消息，对其进行处理并存储在 DB 中。

现在，我想为这个消费者应用程序编写性能测试。该测试应该告诉我消费者应用程序的性能，例如在特定负载下处理消息所花费的时间。

我之前在有端点的地方使用 Gatling 编写了性能测试。但在这个应用程序中，我没有任何休息端点。因此，如果我知道如何对此应用程序进行性能测试或任何指针将不胜感激。

【问题讨论】：

标签： apache-kafka performance-testing kafka-consumer-api gatling

【解决方案1】：

您基本上需要将消息发布到 Kafka 队列并测量它们被您的应用程序处理的速度，任何适合执行此操作的工具都适合。

例如 kafka-console-producer script 随每个 kafka 发行版一起提供。
如果你擅长 Gatling，你可以使用 Gatling-Kafka 插件。
Apache JMeter也有Pepper-Box - Kafka Load Generator插件，这样你就不用写一行代码了。如果需要，请查看 Apache Kafka - How to Load Test with JMeter 文章了解更多详情。

【讨论】：

我猜，以上选项将测试生产者的性能。我看不出如何将我的消费者应用程序与性能测试结合起来并获取性能数据。如果我误解了，请纠正我。

【解决方案2】：

您可以使用 Kafka 打包的kafka-consumer-perf-test.sh 脚本。您可以指定要读取的消息数、处理线程数和任何常用的consumer configurations。该工具将输出消耗的数据量和吞吐量等指标。

【讨论】：