Kafka 中每个主题的一个消费者线程针对多个分区是否会导致延迟？

Question

我们的kafka设置如下：

1. 每个主题 30 个分区
2. 1 个消费者线程

我们配置这种方式是为了能够在未来扩大规模。

当我们需要通过添加分区来扩大规模时，我们希望尽量减少重新平衡的时间，因为延迟对我们来说非常重要，并且在重新平衡期间，消息可能会一直卡住，直到协调阶段完成

每个主题有 1 个具有多个分区的消费者线程会以某种方式影响整体消息消耗延迟？

Answer 1

Kafka 集群中的更多分区会导致更高的吞吐量，但是，您需要注意分区的数量也会影响可用性和延迟。

一般来说分区比较多，

• 导致更高的吞吐量
• 需要更多打开的文件句柄
• 可能会增加不可用性
• 可能会增加端到端延迟
• 客户端可能需要更多内存

您需要研究权衡，并确保您选择的分区数量满足您对吞吐量、延迟和所需资源的要求。

更多详情请参考this blog post from Confluent.

我的意见：做一些测试并写下你的发现。例如，尝试在具有 5、10、15、... 分区的主题上运行单个使用者，测量影响并选择满足您要求的配置。最后问问自己是否需要x 分区。归根结底，如果您需要更多分区，则不必担心重新平衡等问题。Kafka 被设计为可扩展的。