有没有办法在 talend 中找到过去 24 小时或 1 天内的文件，而无需从 ftp 读取整个文件列表

Question

ftp 文件夹中有大约 4000-5k 个文件，我不想将它们传递到缓冲区输入/输出组件中，然后使用 tmap 函数对它们进行排序。相反，我宁愿不打扰文件中的 no.of直接ftp文件夹我可以找到前一天（24小时时间段）的文件并使用ftpget吗？

我不想经历在 bufferedreader 中存储/读取所有文件并按 mtime_desc 或其他 ftpfileproperties 方法排序/排列的麻烦。取而代之的是获取和检索前一天最新文件的直接方法是更快更有效？

Answer 1

我不知道 Talend，但是：标准 FTP 只能检索目录中的所有文件。无论您使用什么语言/库/框架，都无法进行优化或过滤。

一些 FTP 服务器支持非标准的LIST -t 命令来检索按时间戳排序的列表。当您使用它时，一旦您获得所需的文件，您可能会中断列表的下载。另见Make FTP server return files listed by timestamp with Apache FTPClient。