(batch_size, 70, 2, 2) -> Linear(2, 2)
(batch_size, 140, 2) -> Linear(2, 2)
(batch_size, 280) -> Linear(280, 2)
有人可以向我解释一下全连接层如何处理非展平的输入数据吗？我真的不知道如何考虑 > 2D 矩阵乘法。以上都是等价的吗？ （Linear是pytorch中的全连接模块）
【问题讨论】：
标签： neural-network linear-algebra pytorch
对于大于 rank-2（矩阵）的张量进行乘法运算，需要满足以下条件，例如考虑 2 个张量 A 和 B
A.shape=[a1,a2,a3...a8] 和 B.shape=[b1,b2,b3... b8]
虽然我不知道 pytorch 中的矩阵乘法是如何完成的，但我希望它类似于 tensorflow。
如果你在 tensorflow 中执行 tf.matmul，它将在 (a7,a8) 和 (b7,b8) 上执行矩阵乘法，这要求 a8 等于 b7 以用于操作 A.B，此外它还要求 @ 987654331@等于b1..b6
输出形状为[a1, a2...a7,b8]
以上 3 个仅在它们被简单地平展在轴上的意义上是等效的
【讨论】：