打开的文件太多

【问题标题】：Too many files open打开的文件太多
【发布时间】：2019-01-02 01:38:00
【问题描述】：

import PIL as Image
Image.fromarray(cv2.imread(link, cv2.IMREAD_GRAYSCALE))

我目前正在尝试完成一个项目，但我的 linux GPU 服务器上经常出现太多文件打开错误，导致服务器崩溃。

我正在使用如上所示的代码为 CNN 分类加载 3 张图像。遇到同样问题的人有解决办法吗？

谢谢。

【问题讨论】：

您应该添加更多信息。你的数据集的大小是多少？批量大小？还应发布相关的错误消息。您还应该润色您的文字以使其清晰。另见how to ask good question

【解决方案1】：

尝试通过将其添加到脚本来切换到文件策略系统

import torch.multiprocessing
torch.multiprocessing.set_sharing_strategy('file_system')

【讨论】：

嗨 Silas，服务器管理员已经增加了最大文件限制，但使用 pytorch 数据加载器加载图像的方式似乎存在问题。我正在尝试看看是否有人面临与我相同的问题。
默认的 file_descriptor 共享策略使用文件描述符作为共享内存句柄，当 DataLoader 的批次过多时，这将达到限制，而这种情况是您正在使用的图像
pytorch.org/docs/master/…