Pytorch autograd.grad如何写多个输出的参数？

Question

在torch.autograd.grad的documentation中声明，对于参数，

参数：

outputs（张量序列）- 微分函数的输出。

inputs（张量序列）- 输入 w.r.t. 将返回哪个梯度（而不是累积到 .grad 中）。

我尝试以下方法：

a = torch.rand(2, requires_grad=True)
b = torch.rand(2, requires_grad=True)
c = a+b
d = a-b

torch.autograd.grad([c, d], [a, b]) #ValueError: only one element tensors can be converted to Python scalars
torch.autograd.grad(torch.tensor([c, d]), torch.tensor([a, b])) #RuntimeError: grad can be implicitly created only for scalar outputs

我想得到一个张量列表的梯度 w.r.t 另一个张量列表。输入参数的正确方法是什么？

Answer 1

正如torch.autograd.grad 所提到的，torch.autograd.grad 计算并返回输出 w.r.t 的梯度总和。输入。由于您的c 和d 不是标量值，因此grad_outputs 是必需的。

import torch

a = torch.rand(2,requires_grad=True)
b = torch.rand(2, requires_grad=True)

a
# tensor([0.2308, 0.2388], requires_grad=True)

b
# tensor([0.6314, 0.7867], requires_grad=True)

c = a*a + b*b
d = 2*a+4*b

torch.autograd.grad([c,d], inputs=[a,b], grad_outputs=[torch.Tensor([1.,1.]), torch.Tensor([1.,1.])])
# (tensor([2.4616, 2.4776]), tensor([5.2628, 5.5734]))

说明： dc/da = 2*a = [0.2308*2, 0.2388*2] dd/da = [2.,2.] 所以第一个输出是dc/da*grad_outputs[0]+dd/da*grad_outputs[1] = [2.4616, 2.4776]。第二个输出的计算相同。

如果你只想得到c 和d w.r.t 的梯度。输入，也许你可以这样做：

a = torch.rand(2,requires_grad=True)
b = torch.rand(2, requires_grad=True)

a
# tensor([0.9566, 0.6066], requires_grad=True)
b
# tensor([0.5248, 0.4833], requires_grad=True)

c = a*a + b*b
d = 2*a+4*b

[torch.autograd.grad(t, inputs=[a,b], grad_outputs=[torch.Tensor([1.,1.])]) for t in [c,d]]
# [(tensor([1.9133, 1.2132]), tensor([1.0496, 0.9666])),
# (tensor([2., 2.]), tensor([4., 4.]))]

Answer 2

给你 在您给出的示例中：

a = torch.rand(2, requires_grad=True)
b = torch.rand(2, requires_grad=True)
loss = a + b

由于 loss 是一个有 2 个元素的向量，所以不能一次执行 autograd 操作。

通常，

loss = torch.sum(a + b)
torch.autograd.grad([loss], [a, b])

这将为包含一个元素的损失张量返回正确的梯度值。 您可以将多个标量张量传递给 torch.autograd.grad 方法的输出参数