每秒可调整消息量的 Kafka 生产者

Question

编写具有稳定但可调节输出的 Apache Kafka 生产者的最佳方法是什么。

示例：生产者应该以每秒 1000 条的速度向代理发送恒定的消息。在运行期间，输出应可调整为 10 或 10000 条消息/秒。

一种方法是设置一个调度程序，每秒运行一次并批量发送预定义数量的消息。

补充： 因为这个生产者应该是性能测试框架的一部分，所以需要发送的消息量相当高。有人将如何处理非常高的负载？使用 Akka 会有好处吗？

目标语言是 Scala，但任何语言的示例代码都非常受欢迎。

Answer 1

在 java 中，这可以通过在生产者代码中使用 guava 的 RateLimiter 来实现，您可以在其中定义生产者向 kafka 代理生成消息的速率。