Kafka 中的性能测试

Question

有人可以解释一下如何在 Kafka 中使用性能测试，

bin/kafka-consumer-perf-test.sh --topic benchmark-3-3-none \
--zookeeper kafka-zk-1:2181,kafka-zk-2:2181,kafka-zk-3:2181 \
--messages 15000000 \
--threads 1

和

bin/kafka-producer-perf-test.sh --topic benchmark-1-1-none \
--num-records 15000000 \
--record-size 100 \
--throughput 15000000 \
--producer-props \
acks=1 \
bootstrap.servers=kafka-kf-1:9092,kafka-kf-2:9092,kafka-kf-3:9092 \
buffer.memory=67108864 \
compression.type=none \
batch.size=8196

我不清楚参数是什么，应该获得什么输出。我将如何检查我是否向 Kafka 主题发送了 1000 条消息、它的性能和确认。

Answer 1

当我们运行它时，我们会得到以下结果，

制片人

  | start.time | end.time | compression | message.size | batch.size | total.data.sent.in.MB | MB.sec | total.data.sent.in.nMsg | nMsg.sec | 
 | 2016-02-03 21:38:28:094 | 2016-02-03 21:38:28:449 | 0 | 100 | 200 | 0.01 | 0.0269 | 100 | 281.6901 |

在哪里，

• total.data.sent.in.MB 显示发送到集群的总数据量（以 MB 为单位）。

• MB.sec 表示每秒传输的数据量（以 MB 为单位）（吞吐量大小）。

• total.data.sent.in.nMsg 将显示在此测试期间发送的总消息数。

• 最后 nMsg.sec 显示一秒内发送了多少条消息（消息计数的吞吐量

消费者

| start.time | end.time | fetch.size | data.consumed.in.MB | MB.sec | data.consumed.in.nMs | nMsg.sec |
| 2016-02-04 11:29:41:806 | 2016-02-04 11:29:46:854 | 1048576 | 0.0954 | 1.9869 | 1001 | 20854.1667

在哪里，

• start.time、end.time 将显示测试开始和完成的时间。

• fetch.size** 显示单个请求中要获取的数据量。

• data.consumed.in.MB**** 显示所有已消费消息的大小。

• ***MB.sec* 表示每秒传输的数据量（以 MB 为单位）（吞吐量大小）。

• data.consumed.in.nMsg 将显示在此测试期间消耗的总消息数。

• 最后一个 nMsg.sec 显示一秒内消耗了多少消息（消息计数的吞吐量）。

Answer 2

我宁愿建议使用专门的性能测试工具，例如 Apache JMeter 和 Pepper-Box - Kafka Load Generator，以便对您的 Kafka 安装进行负载测试。

通过这种方式，您将能够在完全控制线程、启动时间、消息大小和内容等的情况下进行负载。您还可以生成HTML Reporting Dashboard，其中包含带有有趣指标的表格和图表。

如果需要，请参阅Apache Kafka - How to Load Test with JMeter 文章了解更多详细信息。