是否可以使用 Kafka Producer 实现动态批处理？

Question

现在我正在使用 Apache Kafka 进行一些测试。在 Kafka Producer 的配置中，参数 batch.size 和 linger.ms 控制批处理策略。是否可以在生产时动态地制作这些参数？例如如果数据摄取率快速上升，我们可能希望增加 batch.size 以在每个批次中积累更多消息。我没有找到任何使用 Kafka Producer 进行动态批处理的示例。可以实现吗？

Answer 1

这是可能的，但您必须在运行时使用更新的配置自行关闭并重新打开一个新的 Producer 实例，同时确保您不会在该操作之间丢弃事件。