flink 是否可以均匀地使用固定数字 key to keyBy 一个数据流来避免数据倾斜？

Question

我设置keyby parallism 30，如何找到30个唯一的key让数据流keyByed均匀？flink支持吗？因为我不想要太多的密钥，我会将密钥作为 influxdb 中的标签，所以我不想太多密钥，避免 influxdb 中的 oom。但是我怎样才能均匀地使用最小密钥来 keyby 数据流？

我想使用 flink 来跟踪 mysql 中表上的每个更改（例如更新/插入）。我将计算每个表每秒的更改次数。但是有些表的更改太多导致 keyby 数据倾斜，所以我想使用固定数字键来负载平衡keyby流。

Answer 1

从技术上讲它可以，但从你的问题我了解到你并不真的需要使用keyBy()，你只是想这样做来重新平衡流。在这种情况下，您可以轻松地在DataStream 上使用rebalance()，这将导致使用循环算法对流进行分区，这确实会导致负载均匀分布。