我需要浏览给定文件夹（及其子文件夹）的所有文件并在每个文件上执行一些操作。 我一直在寻找一种递归遍历所有文件的方法，并在 Apache Commons Io 中找到了一个解决方案： FileUtils.iterateFiles 它返回一个迭代器。 我检查了它的实现方式，发现它遍历了所有文件并将它们添加到集合中，然后返回集合的迭代器。 好吧，这就是它的作用。这就是我要找的:)
但后来我想 - 首先收集所有文件然后循环所有文件并执行我想要的是否有效？ 还是我应该不收集它们，而只在递归遍历中执行操作？
应该注意，我对文件所需的操作包括对文件的 IO 操作，这可能会失败..（可以通过两种方式处理..但请注意以防我在我的思路中遗漏了一些东西） 此外，我正在遍历的文件夹和文件集可能会达到 400 个文件夹或 5000 个左右的文件，并且文件大小可能会达到几千兆（同样，在仅遍历文件时并不那么相关，但因为我打算执行 IO 任务而相关）。 .
有什么想法吗？
谢谢。
【问题讨论】：
这可能取决于列表的大小。如果将列表保存在内存中没有问题，那么我会在处理文件之前完成列表。 原因很简单：一方面，由于文件系统组织，扫描目录树通常很快；另一方面，您可能应该一次按顺序处理一个文件，以获得更好的性能（如果您同时处理多任务并同时处理多个文件，那么您的磁盘会变慢）。
【讨论】：
从磁盘读取内容既慢又昂贵。最好的方法是使用多线程，这样您就不会浪费时间等待 IO 返回文件内容。一旦发送文件读取，读/写线程就会进入睡眠一段时间，另一个线程将处理您需要做的事情。一旦读/写线程唤醒，它就会写入磁盘。
要回答您的问题，由于内存限制，不可能一次加载所有文件（及其内容）并继续处理它们。使用多线程一次处理几个文件。或者你可以使用 mapreduce，这取决于给定的任务
【讨论】：
您应该开始在文件系统上导航，创建一个 Runnable/Callable 实现来处理您想要对这些文件执行的操作，然后在找到的每个文件之前将其提交到 ThreadPool（您可以从 Executors 类创建一个）。
在这种情况下，您可能应该使用固定的线程池，并且大小可能会有所不同，您应该进行基准测试并查看处理文件的线程数量如何影响性能。
【讨论】：