Kafka：基于权重的负载均衡消费者

Question

我对 Kafka 还很陌生，与 RabbitMQ（我之前使用的消息代理）相比，它提供的低级 API 让我感到不知所措。我要解决的问题如下：

我有 3 个主题：

• 主题 1：权重为 10%
• 主题 2：权重为 40%
• 主题 3：权重为 50%

这 3 个主题充满了我必须处理的消息。工作人员阅读消息，进行一些处理并继续使用 HTTP POST 发送，该 HTTP POST 具有为所有 3 个主题共享的带宽限制。

我需要什么：

如果队列 2 和 3 为空，则处理后 100% 的可用带宽应进入队列 1 - 如果多个队列上有消息，则应使用活动队列之间分配的“权重”分配可用带宽。

目前，除了“权重”分布（现在，它们以循环方式分布）之外，一切都在工作。优先级不是一个选项，因为在使用优先级时，较高优先级的消息将始终在较低优先级的消息之前传递。

卡夫卡有这样的选择吗？在 RabbitMQ 中，我已经解决了为每个队列分配不同的预取值

Answer 1

就我目前所知的 Kafka 而言，这不可能完全符合您的要求。让我们把一些事实记录下来：

1. 主题可以分区。
2. 一个分区只能由一个消费者处理。没有两个消费者可以处理同一个分区。 （这确保了两条消息具有相同键的消息排序。）

结论：为主题获得更多 CPU 能力的唯一方法是拥有更多分区和相应数量的消费者。

您可以根据自己的权重设置分区数量：

• 主题 1：2 个分区
• 主题 2：8 个分区
• 主题 3：10 个分区

有多少消费者？使用 10 个消费者，0...9，并让他们订阅主题如下：

• 主题 1：消费者 0 和 1
• 主题 2：消费者 2 到 9
• 主题 3：所有消费者

现在每个消费者必须处理两个主题，当所有主题都有数据时，消费者比率反映了您请求的 5:4:1。当前两个主题枯竭时，仍然有 10 位消费者根据需要在主题 3 上工作。