将手动渐变添加到步骤

Question

我想知道是否有任何方法可以手动向 pytorch 中的步骤添加渐变，否则使用 autograd。我的损失函数中有一个中间步骤，如果不将数据类型从张量中转换出来，我就无法计算它，所以我没有得到该分量的自动梯度，因此无法正确计算梯度。但是，我可以手动计算梯度。我将如何将其合并到 pytorch 的渐变图中？我发现的所有指南根本不使用 autograd（据我了解）。

我要解决的具体问题是在某个时间间隔内对函数进行规范化。以下示例对高斯总和执行此操作。张量 m 是 [[m1,m2,m3,m4...]] 并表示均值，s 表示标准差，p 表示权重。 p,m 和 s 都是我的模型的输出。我希望低截止和高截止之间的积分为 1，因此我可以通过在较高截止处取 cdf 并在将所有 ps 除以该值之前减去较低截止 cdf 来得到它。然后，我将使用这些新的 p 值（以及 m 和 s 以及一个目标）来计算损失函数的一些值。然后当我调用 loss.backward() 时，我会得到正确的梯度，包括来自归一化因子随着 p、m 和 s 变化而变化的梯度部分。

    normFactor=0
    for gaussianInd in range(numberGaussians):
        normFactor += (spstats.norm.cdf(higherCutoff,m[0][gaussianInd].cpu().detach(),s[0][gaussianInd].cpu().detach()+1e-6)-spstats.norm.cdf(lowerCutoff,m[0][gaussianInd].cpu().detach(),s[0][gaussianInd].cpu().detach()+1e-6))*p[0][gaussianInd]
    p=p/normFactor

编辑：添加具体示例

Answer 1

当然，您可以随时修改感兴趣的张量的grad 属性。您的优化器将点击此属性来更新相应的张量。

---

出于说明目的：

>>> p = nn.Linear(10, 1, bias=False)
>>> p.weight
Parameter containing:
tensor([[ 0.3148, -0.2287,  0.1254, -0.1360,  0.2799, -0.0225, -0.3006, -0.0605,
         -0.2784, -0.2618]], requires_grad=True)

>>> optim = torch.optim.SGD(p.parameters(), lr=.1)

手动修改渐变：

>>> p.weight.grad = torch.rand_like(p.weight)

使用优化器更新：

>>> optim.step()

参数将被更新：

>>> p.weight
Parameter containing:
tensor([[ 0.2514, -0.2555,  0.1026, -0.1881,  0.2529, -0.0497, -0.3750, -0.1489,
         -0.3762, -0.2839]], requires_grad=True)