Apache Flink - 事件时间上的 SQL Kafka 连接器水印不提取记录

Question

我有一个类似于Apache Flink Tumbling Window delayed result 的问题。不同之处在于，我使用使用 kafka 连接的 SQL 从主题中读取记录。我定期获取记录，但不知何故，我没有得到输出中的最后几条记录。例如，Kafka 主题中的最后一条记录的时间戳为 2020-11-26T13:11:36.605Z，聚合值的最后一个时间戳为 2020-11-26T12:59:59.999。我不明白为什么我没有得到主题中最后一条记录的聚合。请帮忙。这是我的代码。

sourceSQL = "CREATE TABLE flink_read_kafka (clientId INT, orderId INT, contactTimeStamp, WATERMARK FOR contactTimeStamp AS contactTimeStamp - INTERVAL '5' SECOND with (kafka config) ";
sinkSQL = "CREATE TABLE flink_aggr_kafka (contactTimeStamp STRING, clientId INT, orderCount BIGINT) with (kafka config) ";
aggrSQL = "insert into flink_aggr_kafka SELECT TUMBLE_ROWTIME(contactTimeStamp, INTERVAL '5' MINUTE) as contactTimeStamp, clientId, COUNT(*) orderCount from flink_read_kafka GROUP BY clientId , TUMBLE(commsTimestamp, INTERVAL '5' MINUTE)";
blinkStreamTableEnv.executeSql(sourceSQL);
blinkStreamTableEnv.executeSql(sinkSQL);
blinkStreamTableEnv.executeSql(aggrSQL);

Answer 1

首先，一些背景：翻滚窗口仅在水印超过窗口的最大时间戳时才会发出结果。水印向框架表明具有较低时间戳的所有记录都已到达，因此窗口已完成并且可以发出结果。

水印只能根据传入记录的时间戳推进，因此如果没有更多记录进入，水印将不会推进，当前打开的窗口也不会关闭。因此，当没有数据流入时，预计最后一个窗口保持打开状态。

在您的示例中，通常会假设行时间为 2020-11-26T13:04:59.999 和 26T13:09:59.999 的窗口也会被发出，因为最新记录应该将水印推到这些时间戳之外。

我现在可以想到两个可能不是这种情况的原因：

• 并非所有并行源实例的时间戳都高于 26T13:05:04.999，因此输出水印实际上并未超过该值。您可以通过运行并行度为 1 的作业来测试这一点，这将缓解问题，或者通过检查 Flink Web UI 中窗口运算符的水印来验证是否是这种情况。

• 如果您在完全一次性模式下使用 Kafka 生产者并且只使用已提交的记录，则只有在窗口触发后检查点完成后，记录才会变得可见。