在 Colab 中运行代码时显示 GPU 使用情况答案

【问题标题】：Display GPU Usage While Code is Running in Colab在 Colab 中运行代码时显示 GPU 使用情况
【发布时间】：2020-10-18 13:29:35
【问题描述】：

我有一个在 Google Colab 上运行的程序，我需要在它运行时监控 GPU 使用情况。我知道通常你会在命令行中使用nvidia-smi 来显示 GPU 使用情况，但是由于 Colab 只允许一个单元在任何时候一次运行，所以这不是一种选择。目前，我正在使用 GPUtil 并使用 GPUtil.getGPUs()[0].load 和 GPUtil.getGPUs()[0].memoryUsed 监控 GPU 和 VRAM 的使用情况，但我找不到让这些代码与我的其他代码同时执行的方法，因此使用数量远低于实际应有的数量。有没有办法在其他代码运行时打印 GPU 使用情况？

【问题讨论】：

标签： python gpu google-colaboratory

【解决方案1】：

使用wandb 记录系统指标：

!pip install wandb
import wandb
wandb.init()

它会输出一个 URL，您可以在其中查看不同系统指标的各种图表。

【讨论】：

解释清楚一点。转到权重和偏差并创建您的帐户运行上述命令转到笔记本中的链接以进行授权-复制 API 密钥将密钥粘贴到笔记本输入字段然后您将找到一个链接到该链接-并查看您的模型 + 系统矩阵。

【解决方案2】：

解释清楚一点。

转到权重和偏差并创建您的帐户。
运行以下命令。

!pip install wandb
import wandb
wandb.init()

转到笔记本中的链接进行授权 - 复制 API 密钥。
将键粘贴到笔记本输入字段中。
授权后，您会在笔记本中找到另一个链接 - 在那里查看您的模型 + 系统矩阵。

【讨论】：

【解决方案3】：

如果您有 Colab Pro，可以打开终端，位于左侧，显示为黑色背景的“>_”。

即使某些单元正在运行，您也可以从那里运行命令

编写命令实时查看 GPU 使用情况：

watch nvidia-smi

【讨论】：

它通常不可用，说：注册 Colab Pro 以访问终端功能
是的，@stason，你说得对，抱歉，我没有在 Colab Free 上测试过这种情况

【解决方案4】：

您可以在后台运行脚本来跟踪 GPU 使用情况。

第 1 步：创建一个文件以监控 jupyter 单元中的 GPU 使用情况。

%%writefile gpu_usage.sh
#! /bin/bash
#comment: run for 10 seconds, change it as per your use
end=$((SECONDS+10))

while [ $SECONDS -lt $end ]; do
    nvidia-smi --format=csv --query-gpu=power.draw,utilization.gpu,memory.used,memory.free,fan.speed,temperature.gpu >> gpu.log
    #comment: or use below command and comment above using #
    #nvidia-smi dmon -i 0 -s mu -d 1 -o TD >> gpu.log
done

第 2 步：在另一个单元格的后台执行上述脚本。

%%bash --bg

bash gpu_usage.sh

第 3 步：运行推理。

请注意，该脚本将记录前 10 秒的 GPU 使用情况，请根据您的模型运行时间进行更改。

GPU 利用率结果将保存在gpu.log 文件中。

【讨论】：

【解决方案5】：

还有另一种查看 gpu 使用情况的方法，但此方法仅适用于查看内存使用情况。转到单击运行时-> 管理会话。这使您可以查看需要多少内存，以便增加批量大小。

【讨论】：