我有一个 16GB 内存的 NVIDIA GPU。我必须运行两个不同的（并且是独立的；意思是，两个不同的问题：一个是视觉类型任务，另一个是 NLP 任务）Python 程序。代码使用 PyTorch 编写，两个代码都可以使用 GPU。
我测试了程序 1 大约需要 5GB 的 GPU 内存，其余的都是免费的。如果我运行这两个程序，会影响模型性能还是会导致任何进程冲突？
Linked question; but it does not necessarily mean PyTorch codes
【问题讨论】：
标签： pytorch gpu multiple-processes
我不知道它是如何工作的细节，但我可以从经验中看出这两个程序运行良好（只要它们在组合时不需要超过 16GB 的 RAM），并且执行时间应该大致保持在一样。
但是，计算机视觉通常需要大量的 IO（主要是读取图像），如果其他任务也需要读取文件，这部分可能会比单独运行两个程序时慢。
【讨论】：
它应该可以正常工作。
在我的一个项目中，我在处理多个模型时遇到了 GPU 内存不足的问题。加载它们后，我的模型过去常常占用大部分 GPU 内存。在模型推理期间，用于保留数据的内存非常少。众所周知，如果您的模型加载到 GPU 上，那么您还需要将数据加载到 GPU 上。因此，当您进行批量推理（例如，一次向模型提供 16 个图像）时，完整的批次会加载到 GPU 上。这又需要更多的 GPU 内存。如果你的程序没有获得足够的 GPU 内存，它就会崩溃。
如果您认为 GPU 内存不是您的问题，那么一切都应该正常。您也不必担心冲突，因为两个进程都会分配自己的 GPU 内存并独立工作。不会有性能问题。
【讨论】：