Flink 自定义分区器示例

Question

我要解决的用例如下：

• 我们有一个从 Kafka 流入的数据流
• 我们希望保证包含特定实体的相同值的消息/记录由同一操作员处理。
• 我们希望维护此 Operator 的状态，以便我们能够丰富未来的消息。

例如：

• 让我们假设所有消息都是具有表示编码数据的字节数组。
• 在编码数据中具有特定值的所有消息都应由单个运算符处理。
• 这样当我们收到某些也对应于相同值的特殊消息时，这些消息可以作为状态存储在 Operator 上（在分区器之后），并可用于丰富后续消息。

问题：

1. 自定义分区器会对此有所帮助吗？
2. 如果不是这样，什么是好的解决方案？
3. 谁能分享一个在 Flink 中为数据流定制分区器的例子。我找不到任何完整的例子。

Answer 1

自定义分区器会有所帮助，但对于您的情况，这不是必需的。

您可以从消息中提取分组值并将其用作分组键。因此，在源读取数据后，您可以使用 map 来提取值（例如，Record -> (groupingValue, Record) 数据类型为 byte[] -> Tuple2<keyType,byte[]>，如果您想保留原始数据信息）。之后，您可以使用.keyBy(0) 并在其上应用您想要的任何运算符。 keyBy 确保 Tuple2 的第一个字段中具有相同值的所有记录都由同一运算符处理。