Flink：将事件附加到有限数据流的末尾

Question

假设有一个带有事件的有限 DataStream（例如来自数据库源）

• a1, a2, ..., an。

如何在此流中再追加一个事件b 以获取

• a1, a2, ..., an, b

（即在所有原始事件之后输出添加的事件，保留原始顺序）？

我知道所有有限流在所有事件之后都会发出MAX_WATERMARK。那么，有没有办法“捕捉”这个水印并在它之后输出附加事件？

（不幸的是，.union()ing 原始 DataStream 与另一个 DataStream 组成的单个事件（时间戳设置为 Long.MaxValue）然后使用 this answer 对联合流进行排序不起作用。）

Answer 1

也许我遗漏了一些东西，但似乎您可以简单地拥有一个 ProcessFunction 并为遥远的将来某个地方设置一个事件时间计时器，以便它仅在 MAX_WATERMARK 到达时触发。然后在 onTimer 方法中，如果 currentWatermark 为 MAX_WATERMARK，则发出该特殊事件。

Answer 2

另一种方法可能是将原始数据源“包装”在另一个数据源中，当委托对象的run() 方法返回时，它会发出最终元素。当然，您需要小心调用所有委托方法。