基于当前时间在flink中消耗基于时间的文件路径答案

【问题标题】：Consuming time based file paths in flink based on current time基于当前时间在flink中消耗基于时间的文件路径
【发布时间】：2021-08-20 10:33:03
【问题描述】：

我有一个带有时间戳的 S3 对象列表

例如：s3://01-02-20:10:00:00 , s3://01-02-20:10:00:01

等等。

我想将 S3 过去 5 分钟内的所有文件作为 DataSource 消耗到 flink 中，并按预期进行检查点工作。

我们可以使用当前基于文件的源来做到这一点吗/这甚至可能吗？

【问题讨论】：

【解决方案1】：

没有满足你需求的源函数，你需要自己实现一个RichSourceFunction并过滤掉你需要的文件路径

【讨论】：