【问题标题】:Spring Integration: Only Ingest New Files Since Last PollSpring 集成:自上次轮询以来仅摄取新文件
【发布时间】:2020-09-01 17:58:25
【问题描述】:
我正在使用 Spring Integration 从 S3 存储桶中轮询文件。处理后我无法删除文件,所以我添加了S3PersistentAcceptOnceFileListFilter。我有很多文件并且经常轮询,这对FILE_SYNC_METADATA_STORE 表造成了不必要的压力。
我想知道是否有 FileListFilter 实现过滤自上次轮询以来新/更新的文件,而不必为每个文件查询数据库。
【问题讨论】:
标签:
spring-integration
spring-integration-aws
【解决方案1】:
没有这样的FileListFilter,但您绝对可以实现自己的,例如将S3Object 中的最新lastmodified 保存在过滤器中,并在下一次投票时与它进行比较。这样,您确实不会转到为 S3PersistentAcceptOnceFileListFilter 配置的 FILE_SYNC_METADATA_STORE 表,因为您不会传递给该过滤器。尽管使用自定义 lastmodified 过滤器,您可能根本不需要 S3PersistentAcceptOnceFileListFilter...