我应该在神经网络中转置特征或权重吗？

Question

我正在学习神经网络。

下面是完整的代码： https://github.com/udacity/deep-learning-v2-pytorch/blob/master/intro-to-pytorch/Part%201%20-%20Tensors%20in%20PyTorch%20(Exercises).ipynb

当我转置特征时，我得到以下输出：

import torch
def activation(x):
    return 1/(1+torch.exp(-x))

### Generate some data
torch.manual_seed(7) # Set the random seed so things are predictable

# Features are 5 random normal variables
features = torch.randn((1, 5))
# True weights for our data, random normal variables again
weights = torch.randn_like(features)
# and a true bias term
bias = torch.randn((1, 1))

product = features.t() * weights + bias
output = activation(product.sum())

张量(0.9897)

但是，如果我转置权重，我会得到不同的输出：

weights_prime = weights.view(5,1)
prod = torch.mm(features, weights_prime) + bias
y_hat = activation(prod.sum())

张量（0.1595）

为什么会这样？

---

更新

我看了一下解决方案： https://github.com/udacity/deep-learning-v2-pytorch/blob/master/intro-to-pytorch/Part%201%20-%20Tensors%20in%20PyTorch%20(Solution).ipynb

我看到了这个：

y = activation((features * weights).sum() + bias)

为什么一个矩阵特征（1,5）可以乘另一个矩阵权重（1,5）而不先转置权重？

更新 2

看了几篇文章后，我意识到

matrixA * matrixB 不同于 torch.mm(matrixA,matrixB) 和 torch.matmul(matrixA,matrixB)。

有人可以确认我之间的三个理解吗？

1. 所以 * 表示逐元素乘法，而 torch.mm() 和 torch.matmul() 是逐矩阵乘法。

2. torch.mm() 和 torch.matmul() 的区别：mm() 专门用于二维矩阵，而 matmul() 可用于更复杂的情况。

3. 在我上面链接中提到的这个 Udacity 编码练习的中性网络中，它需要逐元素乘法。

更新 3

只是为了给有同样困惑的人带来视频截图：

这里是视频链接：https://www.youtube.com/watch?time_continue=98&v=6Z7WntXays8&feature=emb_logo

Answer 1

这条线是两个向量之间的外积。

product = features.t() * weights + bias

生成的形状是5x5。

如果您将其更改为点积，则 output 将匹配 y_hat。

product = torch.mm(weights, features.t()) + bias

Answer 2

看着https://pytorch.org/docs/master/generated/torch.nn.Linear.html

torch 中典型的线性（全连接）层使用形状为(N,∗,in_features) 的输入特征和形状为(out_features,in_features) 的权重来生成形状为(N,*,out_features) 的输出。这里 N 是批量大小，* 是任意数量的其他维度（可能没有）。

实现是：

output = input.matmul(weight.t())

因此，根据惯例，答案是您的公式都不正确；标准公式就是上面那个。

您可以使用非标准形状，因为您是从头开始实现的；只要它是一致的，它就可以工作，但我不推荐它来学习。目前尚不清楚代码中的 1 和 5 是什么，但大概您需要 5 个输入特征和一个输出特征，批量大小也为 1。在这种情况下，标准形状应该输入 = torch.randn((1, 5))，批量大小=1 和 in_features=5，权重 = torch.randn((5, 1))，in_features=5 和 out_features=1。

没有理由让权重与特征具有相同的形状；因此weights = torch.randn_like(features) 没有意义。

最后，对于您的实际问题：

“我应该在神经网络中转置特征或权重吗？” - 在火炬约定中，您应该转置权重，但首先使用带有特征的 matmul。其他框架可能有不同的约定；只要权重的 in_features 维度乘以输入的 num_features 维度，就可以了。

“为什么会这样？” - 这是两个完全不同的计算；没有理由认为它们会产生相同的结果。

“所以 * 表示逐元素乘法，而 torch.mm() 和 torch.matmul() 是逐矩阵乘法。” - 是的; mm 只是矩阵矩阵，matmul 是向量矩阵或矩阵矩阵，包括相同的批处理版本 - 检查文档以了解 matmul 可以做的所有事情（这有点多）。

“torch.mm() 和 torch.matmul() 的区别：mm() 专门用于二维矩阵，而 matmul() 可用于更复杂的情况。” - 是的;最大的不同是 matmul 可以广播。当您有明确意图时使用它；使用 mm 来防止无意的广播。

“在我上面链接中提到的这个 Udacity 编码练习的中性网络中，它需要逐元素乘法。” - 我对此表示怀疑;这可能是 Udacity 代码中的错误。这段代码weights = torch.randn_like(features) 在任何情况下看起来都像是一个错误；权重的维度与特征维度的含义不同。