调整 kafka 性能以获得 100 万条消息/秒

Question

我使用 3 台虚拟机服务器，每台都有 16 核/56 GB 内存/1 TB，来设置一个 kafka 集群。我使用 Kafka 0.10.0 版本。我在其中两个上安装了代理。我创建了一个包含 2 个分区、1 个分区/代理且没有复制的主题。

我的目标是每秒处理 1 000 000 条消息。

我使用 kafka-producer-perf-test.sh 脚本进行了测试，结果在 150 000 msg/s 和 204 000 msg/s 之间。

我的配置是：

-批量大小：8k (8192)

-消息大小：300 字节（0.3 KB）

-线程数：1

生产者配置：

-request.required.acks=1

-queue.buffering.max.ms=0 #linger.ms=0

-compression.codec=none

-queue.buffering.max.messages=100000

-send.buffer.bytes=100000000

任何帮助将不胜感激获得 1 000 000 msg / s

谢谢

Answer 1

您正在运行旧版本的 Apache Kafka。最新版本 (0.11) 进行了改进，包括围绕性能。

您可能会发现这也很有用：https://www.confluent.io/blog/optimizing-apache-kafka-deployment/