我有一个关于 Kinesis 流中数据分片的问题。在将用户数据发送到我的运动流时，我想使用随机分区键，以便分片中的数据均匀分布。为了使这个问题更简单，我想通过在我的 Flink 应用程序中关闭 userId 来聚合用户数据。
我的问题是：如果分片是随机分区的，因此一个 userId 的数据分布在多个 Kinesis 分片上，Flink 是否可以处理读取多个分片然后重新分配数据，以便单个 userId 的所有数据流式传输到同一个聚合器任务？或者，在 Flink 使用之前，我是否需要按用户 ID 对 kinesis 流进行分片？
【问题讨论】：
标签： apache-flink flink-streaming amazon-kinesis
... Flink 能否处理读取多个分片，然后重新分配数据，以便将单个 userId 的所有数据流式传输到同一个聚合器任务？
如果您使用 Flink 的 DataStream API，keyBy(e -> e.userId) 的效果是重新分发所有事件，以便任何特定 userId 的所有事件都将流式传输到相同的下游聚合器任务。
每个主机是否会从流中的分片子集读取数据，然后 Flink 是否会使用 keyBy 运算符将相同键的消息传递给将执行实际聚合的主机？
是的，没错。
例如，如果您有 8 台物理主机，每台提供 8 个插槽来运行作业，那么将有 64 个聚合器任务实例，每个实例将负责键空间的不相交子集。
假设有超过 64 个分片可供读取，那么在 64 个任务中的每一个任务中，源将从一个或多个分片读取，然后根据其用户 ID 分发它读取的事件。假设 userIds 均匀分布在分片中，那么每个源实例会发现它读取的一些事件是针对分配给它处理的 userIds 的，并且应该使用本地聚合器。其余事件将分别发送到其他 63 个聚合器之一，具体取决于负责每个 userId 的工作人员。
【讨论】：