【发布时间】：2021-07-05 13:25:30
【问题描述】：
将数据集加载到 GPU 中进行训练时，Pytorch NN 会加载整个数据集还是仅加载批次？
我有一个 33GB 的数据集，可以很好地适应我的普通 RAM (64GB)，但我只有 16GB 的 GPU RAM (T4)。只要 Pytorch 一次只将一批加载到 GPU 中，那应该可以正常工作而没有任何内存问题？
【问题讨论】：
-
需要注意的一点是，存储在驱动器 (33GB) 中的数据集通常是压缩形式的（例如图像的 png 或 jpg）。当您将其加载为张量（在 GPU 或 CPU 上）时，它们将处于未压缩形式，因此将占用比磁盘空间大得多的空间。因此，您对磁盘内存和 GPU 内存/系统 RAM 的比较似乎无效。相反，您应该尝试将一批作为张量加载并检查 RAM 使用情况。
标签： neural-network pytorch gpu