如何确保多个 Kafka 拓扑对所有主题具有相同的分区分配？

Question

我有一个用例，我们在同一个应用程序中定义了多个 Kafka 拓扑。我正在运行我的应用程序的多个实例（例如，在 2 个实例上运行的 2 个拓扑）。假设第一个拓扑有 2 个主题 (t0, t1) 有 2 个分区 (p0, p1) 来消费，第二个拓扑有 2 个主题 (t2, t3) 有 2 个分区 (p0, p1) 消费并且所有主题都相同关键值（例如 eventId）。我可以看到第一个和第二个拓扑的两个主题的分区都被分配给了各自的消费者。

与第一个拓扑 t0-p0 一样，t1-p0 分配给 consumer-0，t0-p1，t1-p1 分配给 consumer-1。 与第二个拓扑 t2-p0 一样，t3-p0 分配给 consumer-1，t2-p1，t3-p1 分配给 consumer-0。

现在我要确定的是，它们各自拓扑中的所有主题的分区 0 应该始终分配给消费者 0。但我可以看到，在我的用例中，在第一个拓扑中，t0-p0、t1-p0 被分配给消费者 0，而在第二个拓扑中，t2-p0、t3-p0 被分配给消费者 1。

有什么方法可以将我的应用程序配置为始终将消费者 0 分配给第 0 个分区，而消费者 1 应该为不同拓扑上的所有主题监听分区 1？

Answer 1

有一个名为partition.assignment.strategy 的消费者配置。这有三个选项，Range、RoundRobin 和 StickyAssignor。

范围分配器

RangeAssignor 是默认策略。该战略的目标 是对几个主题的共同本地化分区。这很有用，因为 例如，连接来自两个具有相同数量的主题的记录 分区和相同的键分区逻辑。

RoundRobinAssignor

RoundRobinAssignor 可用于分配可用分区 均匀分布于所有成员。如前所述，转让人将 在分配每个分区和消费者之前按字典顺序排列 分区。

StickyAssignor

StickyAssignor 与 RoundRobin 非常相似，不同之处在于它 将尝试最小化两个分配之间的分区移动，所有 同时确保均匀分布。

我认为在您的情况下，您应该使用RangeAssignor。如果同一消费者拥有same number of partitions，则确保同一消费者具有来自不同主题的相同分区。

你可以找到很棒的文档here