Flink如何发现每个键的所有kafka分区

Question

我在数据流中使用“keyby”。我希望 flink 发现每个键的所有 kafka 分区。 我有 30 个分区和 12 个任务。 我通过用户 ID “keyby”我的数据。我认为每个任务的 flink 只是发现特定的 kafka 分区 & 我无法在一项任务中检测每个用户的所有数据。

Answer 1

Flink 通常不会在通过 keyBy 进行流处理期间进行的分区与 Kafka 中流存储层中存在的分区之间建立任何关联。如果您在来自 Kafka 消费者的流上使用 keyBy，则每个用户的所有事件都将一起处理，无论它们来自哪个 kafka 分区。

我不明白你在做什么，但你可以阅读 Flink 如何处理 Kafka 主题和分区发现in the documentation。