在 Pytorch 模型中可视化渐变 [关闭]答案

【问题标题】：Visualizing gradients in Pytorch models [closed]在 Pytorch 模型中可视化渐变 [关闭]
【发布时间】：2021-08-30 11:40:00
【问题描述】：

我想在 Pytorch 模型中可视化每个时期每个层的渐变。除了 Tensorboard 之外的任何库都可以完成这项任务吗？

【问题讨论】：

标签： deep-learning pytorch gradient

【解决方案1】：

Wandb.ai 是一个很好的实验跟踪工具。如果您在模型上调用wandb.watch(model)，它会自动记录梯度和相关系统信息。它也是一个很好的去中心化的地方，可以存储所有运行的日志并将它们可视化或进行比较。

为您提供类似于documentation 的最小代码示例，它将记录您的损失、梯度和系统信息：

import wandb


wandb.init(project="your_project")
model = ... # set up your model

# Start tracking grads
wandb.watch(model, log='all')

for data, target in train_loader:
    output = model(data)
    loss = F.nll_loss(output, target)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

    wandb.log({"loss": loss})

【讨论】：