当流未明确关闭时，Files.list(Path dir) 中的资源泄漏？

Question

我最近编写了一个定期检查目录内容的小应用程序。一段时间后，由于打开的文件句柄过多，应用程序崩溃了。经过一番调试，我发现了下面一行的错误：

Files.list(Paths.get(destination)).forEach(path -> {
     // To stuff
});

然后我检查了 Files.list 的 javadoc（我可能早该这样做）并发现：

* <p> The returned stream encapsulates a {@link DirectoryStream}.
* If timely disposal of file system resources is required, the
* {@code try}-with-resources construct should be used to ensure that the
* stream's {@link Stream#close close} method is invoked after the stream
* operations are completed

对我来说，“及时处置”听起来仍然像是资源最终会在应用退出之前被释放。我查看了 JDK (1.8.60) 代码，但找不到任何关于 Files.list 打开的文件句柄再次被释放的提示。

然后我创建了一个小应用程序，它在使用 Files.list 后显式调用垃圾收集器，如下所示：

while (true) {
    Files.list(Paths.get("/")).forEach(path -> {
      System.out.println(path);
    });
    Thread.sleep(5000);

    System.gc();
    System.runFinalization();
}

当我使用lsof -p <pid> 检查打开文件句柄时，我仍然可以看到“/”的打开文件句柄列表越来越长。

我现在的问题是：在这种情况下，是否有任何隐藏机制最终应该关闭不再使用的打开文件句柄？还是这些资源实际上从来没有被释放过，javadoc说的“及时释放文件系统资源”有点委婉？

Answer 1

如果您关闭 Stream，Files.list() 会关闭底层 DirectoryStream 它用于流式传输文件，因此只要您关闭 Stream，就不会有资源泄漏。

您可以在此处查看DirectoryStream 在源代码中关闭Files.list() 的位置：

return StreamSupport.stream(Spliterators.spliteratorUnknownSize(it, Spliterator.DISTINCT), false)
                    .onClose(asUncheckedRunnable(ds));

要理解的关键是Runnable 是使用Stream::onClose 向Stream 注册的，该Stream::onClose 在流本身关闭时被调用。 Runnable 是由工厂方法 asUncheckedRunnable 创建的，它创建了一个 Runnable 来关闭传递给它的资源，将在 close() 期间抛出的任何 IOException 转换为 UncheckedIOException

您可以通过确保 Stream 像这样关闭来安全地确保 DirectoryStream 已关闭：

try (Stream<Path> files = Files.list(Paths.get(destination))){
    files.forEach(path -> {
         // Do stuff
    });
}

Answer 2

关于IDE部分：Eclipse基于局部变量（和显式的资源分配表达式）进行资源泄漏分析，因此您只需将流提取到局部变量：

Stream<Path> files =Files.list(Paths.get(destination));
files.forEach(path -> {
 // To stuff
});

然后Eclipse会告诉你

资源泄漏：“文件”永远不会关闭

在幕后，分析会处理一系列异常：

1. 所有Closeables 需要关闭
2. java.util.stream.Stream（可关闭）不需要需要关闭
3. java.nio.file.Files 中的方法生成的所有流确实需要关闭

当图书馆团队讨论 Stream 是否应为 AutoCloseable 时，该策略是与图书馆团队协调制定的。

Answer 3

   List<String> fileList = null;

   try (Stream<Path> list = Files.list(Paths.get(path.toString()))) {
   fileList = 
     list.filter(Files::isRegularFile).map(Path::toFile).map(File::getAbsolutePath)
                                .collect(Collectors.toList());
   } catch (IOException e) {
    logger.error("Error occurred while reading email files: ", e);
  }