apache kafka 多生产者与单生产者性能

Question

我有 kafka 集群，在一台机器上有 12 个代理，在同一台机器上有一个 zookeeper 我使用 kafka-python 来生成消息

producer = KafkaProducer(bootstrap_servers='localhost:9092'  , acks=0 , linger_ms=10000 , batch_size=2000000 , buffer_memory=1003554432)

for i in range(50000):

    #50 Bytes message
    msg= 'FDASFAFAFAFAFADDFASFADFAFDASFAFFFFFFFFFFFFFFFFFFF'

    #my_topic has 12 partitions , kafka cluster has 12 brokers in single machine
    producer.send('my_topic', msg)

当我运行我的 python 代码时，我实现了 20,000 的吞吐量（每秒消息数） 但是，当我同时运行多个相同的 python 代码时，我实现了相同的吞吐量（每秒 20,000 条消息）

当我运行单个生产者时如何获得更好的吞吐量？？

我测试了许多 batch.size 和 linger.ms 值，但我无法获得更好的性能

Answer 1

Kafka 生产者的性能取决于 Kafka 集群，在您的代码中，您不断尝试将消息发布到 Kafka。通过我的工具进行性能测试时，我也有同样的经历。如果 Kafka 集群的容量较低，则并行生产者不会增加吞吐量。 如果 Kafka 集群有更多的容量，那么更多的生产者将导致产生更多的消息。

使用单独的 zookeeper 集群设置适当的 Kafka 集群（在 3 台 16 GB 内存的不同机器中至少有 3 个代理，一些好的 cpu），正确划分主题（更多分区）并在 Kafka 代理之间复制。现在，如果您测试您的生产者代码，它会按预期工作。