在横向扩展节点时保证快速数据处理 kafka

Question

我用java构建了一个kafka应用程序：

• 为 kafka 制作唱片的制作人
• 使用这些记录的 kafka 流，对其值应用一些（时间窗口和状态存储）操作并将它们发送回 kafka
• 消费者使用这些转换后的值并将其写入数据库

我正在测量生产者记录（被 kafka 流消费）和消费者记录（被消费者消费）的 kafka 时间戳之间的时间差。所以基本上当生产者记录被创建并且这个记录被流转换并发送回kafka时。最后，我取数据库中每个时间差的平均值。

当我向我的主题添加更多流节点和更多分区时，无论出于何种原因，这个时间差都会增加。我实际上预计时差会减少。现在我想知道我是否做错了什么，或者是否会发生通过增加节点数量来处理数据需要更长的时间。

最后我的问题是：是否可能通过向kafka添加更多节点来延长数据处理时间？如果有，可能是什么原因？

Answer 1

“是否有可能通过向kafka添加更多节点来增加数据处理时间？如果是，可能是什么原因？”

是的，这可能会发生，并且很大程度上取决于实际生成的数据量。通过使用更多的分区/流节点，需要在数据量和并行度之间取得平衡，以避免不必要的开销。

在您的特定情况下，我能想到的主要原因是 KafkaProducer 端的批处理在分区数量较少的情况下效率更高。

假设您有 10 条消息和一个分区。 KafkaProducer 可能会将这 10 条消息合并为一批，并对其进行压缩，这似乎非常有效。

现在，如果您有 10 条消息和 10 个分区，每条消息都进入自己的分区，KafkaProducer 必须向代理发送 10 个单独的发送请求（每个分区一个），而且您的压缩率效率较低因为您总是只压缩一条消息。

此外，如果您的 KafkaProducer 在 同步 模式下工作，它必须更频繁地等待代理的回复（这可能会根据 Producer 配置 acks 和 max.request.in.flight 而有所不同）。