每个子任务/分区是否可以有一个窗口

Question

我正在使用 Flink 使用来自具有多个分区的 Kafka 主题的数据。是否可以在每个并行子任务/分区上都有一个窗口而不必使用keyBy（因为我想避免洗牌）。根据文档，我只能在键控窗口（需要随机播放）或全局窗口（将并行度降低到 1）之间进行选择。

动机是我想使用CountWindow 通过自定义触发器来批处理消息，该触发器也会在设定的处理时间后触发。因此，对于每个 Kafka 分区，我想将 N 条记录一起批处理或等待 X 量的处理时间，然后再将批处理发送到下游。

谢谢！

Answer 1

没有好办法。

一种解决方法是在自定义接收器中实现批处理和超时逻辑。您希望实现CheckpointedFunction 接口以使您的解决方案具有容错性，并且您可以使用Sink.ProcessingTimeService.ProcessingTimeCallback 接口进行超时。

更新：

刚刚想到了另一种解决方案，类似于您在下面的评论中的解决方案。您可以实现一个发送周期性心跳的自定义源，并将其广播到 BroadcastProcessFunction。