即使先前的消息手动提交，kafka 消费者也没有从主题中获取消息

Question

我在 Kafka 主题中有两条消息（假设偏移量 1 和 2），两条消息都放在同一个分区中（假设 p1）。

我的消费者应用程序是这样的：

我的消费者正在获取消息 1（从 patition 1 偏移 1）并向 Kafka 发送手动提交信号，然后等待 5 秒。

我的期望是自从提交信号进入 kafka，而我的线程 1 正在等待 5 秒，另一个消费者线程应该从分区 1 中获取消息 2 并在单独的线程中处理它。

但是，它不是这样工作的。它一个接一个地处理。只有在线程 1 完成 5 秒后，它才会从主题中获取第二条消息。

注意：我已确保将并行消费者的数量设置为多个（在我的情况下为 5，最大消费者池大小为 10）。

我做错了什么吗？有没有人遇到过类似的问题？如果有，解决办法是什么？

谢谢， 巴拉

Answer 1

每个分区一次只能由一个线程使用，并且该线程将继续等待（还有其他因素），直到触发重新平衡，然后再将该分区分配给不同的线程。

将触发再平衡

• 手动或
• 当使用相同的消费者组添加新线程时或
• 当其中一个线程停止调用 poll 方法达 max.poll.interval.ms 很多毫秒（默认为 5 分钟）时

Here 是一个包含更多详细信息的博客。