获取 cuda 上下文的内存使用情况

Question

有没有一种方法可以让我获得 cuda 上下文内存使用情况，而不必使用仅报告设备全局信息的 cudaMemGetInfo？或者至少有一种方法可以获取当前应用程序占用了多少内存？

Answer 1

这似乎是不可能的[No]。但是，检索每个进程的内存使用情况仍然是一个不错的选择。正如 Robert 所指出的，可以使用 NVML，特别是使用 nvmlDeviceGetComputeRunningProcesses 函数来检索每个进程的内存使用情况。