在 PyTorch 中计算向量的范数、1-范数和 2-范数的正确方法是什么？

Question

我有一个矩阵：

t = torch.rand(2,3)
print(t)
>>>tensor([[0.5164, 0.3651, 0.0882],
        [0.4488, 0.9824, 0.4067]])

我正在关注this 规范的介绍，并想在 PyTorch 中尝试一下。

好像是这样的：

• 向量的norm 是“向量的大小或长度是描述向量在空间中的范围的非负数，有时也称为向量的大小或范数”
• 1-Norm 是“绝对向量值的总和，其中标量的绝对值使用符号 |a1|。实际上，范数是计算距向量空间原点的曼哈顿距离。”李>
• 2-Norm是“向量坐标到向量空间原点的距离。L2范数计算为向量平方和的平方根。”

我目前只知道这个：

print(torch.linalg.norm(t, dim=1))
>>>tensor([0.6385, 1.1541])

但我不知道它正在计算来自here 的三个（范数、1-范数、2-范数）中的哪一个，以及如何计算其余的

Answer 1

要计算 0-、1- 和 2-范数，您可以使用 torch.linalg.norm，提供 ord 参数（分别为 0、1 和 2）。或者直接在张量上：Tensor.norm，带有p 参数。以下是三种变体：手动计算、torch.linalg.norm 和 Tensor.norm。

• 0-范数

  >>> x.norm(dim=1, p=0)
  >>> torch.linalg.norm(x, dim=1, ord=0)
  >>> x.ne(0).sum(dim=1)
  

• 1-范数

  >>> x.norm(dim=1, p=1)
  >>> torch.linalg.norm(x, dim=1, ord=1)
  >>> x.abs().sum(dim=1)
  

• 2-范数

  >>> x.norm(dim=1, p=2)
  >>> torch.linalg.norm(x, dim=1, ord=2)
  >>> x.pow(2).sum(dim=1).sqrt()
  

Answer 2

要计算不同顺序的范数，你只需要传入一个ord 参数和你想要的顺序。例如：

• torch.linalg.norm(t, dim=1, ord = 0) 应该适用于规范。
• torch.linalg.norm(t, dim=1, ord = 1) 应该适用于 1-Norm。
• torch.linalg.norm(t, dim=1, ord = 2) 应该适用于 2-Norm。
  等等。