【问题标题】:Spring Integration: Only Ingest New Files Since Last PollSpring 集成:自上次轮询以来仅摄取新文件
【发布时间】:2020-09-01 17:58:25
【问题描述】:

我正在使用 Spring Integration 从 S3 存储桶中轮询文件。处理后我无法删除文件,所以我添加了S3PersistentAcceptOnceFileListFilter。我有很多文件并且经常轮询,这对FILE_SYNC_METADATA_STORE 表造成了不必要的压力。

我想知道是否有 FileListFilter 实现过滤自上次轮询以来新/更新的文件,而不必为每个文件查询数据库。

【问题讨论】:

    标签: spring-integration spring-integration-aws


    【解决方案1】:

    没有这样的FileListFilter,但您绝对可以实现自己的,例如将S3Object 中的最新lastmodified 保存在过滤器中,并在下一次投票时与它进行比较。这样,您确实不会转到为 S3PersistentAcceptOnceFileListFilter 配置的 FILE_SYNC_METADATA_STORE 表,因为您不会传递给该过滤器。尽管使用自定义 lastmodified 过滤器,您可能根本不需要 S3PersistentAcceptOnceFileListFilter...

    【讨论】:

      猜你喜欢
      • 2019-11-24
      • 2020-10-28
      • 1970-01-01
      • 2014-12-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多