迭代文件列表的有效方法

Question

我正在寻找一种有效的方法来迭代一个或多个目录中的数千个文件。

迭代目录中文件的唯一方法似乎是File.list*() 函数。这些函数有效地加载某种集合中的整个文件列表，然后让用户对其进行迭代。就时间/内存消耗而言，这似乎是不切实际的。我尝试查看 commons-io 和其他类似工具。但他们最终都在里面的某个地方打电话给File.list*()。 JDK7 的walkFileTree() 接近了，但我无法控制何时选择下一个元素。

我在一个目录中有超过 150,000 个文件，经过多次 -Xms/-Xmm 试用后，我摆脱了内存溢出问题。但是填充数组所需的时间没有改变。

我希望制作某种 Iterable 类，它使用类似 opendir()/closedir() 的函数来根据需要延迟加载文件名。有没有办法做到这一点？

更新：

Java 7 NIO.2 支持通过java.nio.file.DirectoryStream 进行文件迭代。这是一个Iterable 类。至于JDK6及以下，唯一的选择是File.list*()方法。

Answer 1

这里是一个示例，说明如何迭代目录条目而无需将 159k 的条目存储在数组中。根据需要添加错误/异常/关闭/超时处理。这种技术使用辅助线程来加载一个小的阻塞队列。

用法是：

FileWalker z = new FileWalker(new File("\\"), 1024); // start path, queue size
Iterator<Path> i = z.iterator();
while (i.hasNext()) {
  Path p = i.next();
}

例子：

public class FileWalker implements Iterator<Path> {
  final BlockingQueue<Path> bq;
  FileWalker(final File fileStart, final int size) throws Exception {
  bq = new ArrayBlockingQueue<Path>(size);
  Thread thread = new Thread(new Runnable() {
    public void run() {
      try {
        Files.walkFileTree(fileStart.toPath(), new FileVisitor<Path>() {
          public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs) throws IOException {
            return FileVisitResult.CONTINUE;
          }
          public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) throws IOException {
            try {
              bq.offer(file, 4242, TimeUnit.HOURS);
            } catch (InterruptedException e) {
              e.printStackTrace();
            }
            return FileVisitResult.CONTINUE;
          }
          public FileVisitResult visitFileFailed(Path file, IOException exc) throws IOException {
            return FileVisitResult.CONTINUE;
          }
          public FileVisitResult postVisitDirectory(Path dir, IOException exc) throws IOException {
            return FileVisitResult.CONTINUE;
          }
        });
      } catch (IOException e) {
        e.printStackTrace();
      }
    }
  });
  thread.setDaemon(true);
  thread.start();
  thread.join(200);
}
public Iterator<Path> iterator() {
  return this;
}
public boolean hasNext() {
  boolean hasNext = false;
  long dropDeadMS = System.currentTimeMillis() + 2000;
  while (System.currentTimeMillis() < dropDeadMS) {
    if (bq.peek() != null) {
      hasNext = true;
      break;
    }
    try {
      Thread.sleep(1);
    } catch (InterruptedException e) {
      e.printStackTrace();
    }
  }
  return hasNext;
}
public Path next() {
  Path path = null;
  try {
    path = bq.take();
  } catch (InterruptedException e) {
    e.printStackTrace();
  }
  return path;
}
public void remove() {
  throw new UnsupportedOperationException();
}
}

Answer 2

这在时间/内存消耗方面似乎不切实际。

即使 150,000 个文件也不会消耗不切实际的内存量。

我希望制作某种 Iterable 类，它使用类似 opendir()/closedir() 的函数来根据需要延迟加载文件名。有没有办法做到这一点？

您需要编写或查找本机代码库才能访问这些 C 函数。它可能会引入比它解决的问题更多的问题。我的建议是只使用 File.list() 并增加堆大小。

---

实际上，还有另一种 hacky 选择。使用System.exec 运行ls 命令（或Windows 等效命令）并编写您的迭代器以读取和解析命令输出文本。这避免了使用 Java 原生库带来的麻烦。

Answer 3

您能否按文件类型对负载进行分组以缩小批次范围？

Answer 4

我只是想知道为什么一个普通的 file.list() 方法返回文件名的 String[] （而不是 file.listFiles() ）会消耗大量内存？它是一个本机调用，只返回文件名。 也许你可以迭代它并延迟加载你需要的任何文件对象。