来自 Flink 流的手动检查点

Question

是否可以从 Flink 流式作业触发检查点？

我的用例是：我有两个流 R 和 S 加入翻滚时间窗口。来源是卡夫卡。我使用事件时间处理和 BoundedOutOfOrdernessGenerator 来确保来自两个流的事件最终在同一个窗口中。

问题是我的状态很大，有时定期检查点会花费太多时间。起初，我想禁用检查点并依赖 Kafka 偏移量。但是无序意味着我已经在未来的窗口中从当前偏移量中获得了一些数据。所以我需要检查点。

如果可以在清理窗口而不是定期清理窗口后触发检查点，那么效率会更高。也许在 evictAfter 方法中。

这有意义吗？有可能吗？如果不是，我将不胜感激。

Answer 1

似乎这里的问题是检查点效率。考虑使用带有增量检查点的 RocksDB 状态后端，在 Debugging and Tuning Checkpoints and Large State 下的文档中进行了讨论。