这个 TensorFlow 偏置向量的形状是否正确？

Question

在正文中我读到以下内容：

我对偏置向量的维度感到困惑。我们如何将(m,1) 向量添加到(1, p) 向量？ w0 的形状是否正确？还是应该将w1 塑造成(n, P) 来解释P 类，而我们广播w0？

注意：我假设 w1 应该是 (n, P) 以便我们的矩阵乘法为每个观察的每个类别预测生成一行非标准化的 logits。那么添加每类偏差并将其广播到我们数据中的样本数量是否有意义？

我什至觉得问起来很愚蠢，但是浏览了我无法协调的例子......

Answer 1

从技术上讲，将 (m,1) 张量添加到 (1, P) 张量通过广播两次得到 (m, P) 张量（假设索引 (i,j) 处的 Y_hat 等于 tf.matmul( X, w1) 在索引 i 处加上 w0 在索引 j) 处。然而，这不是前馈网络中应该发生的事情。

w1 确实应该是 (n, P) 的形状，然后偏置的形状是正确的。 tf.matmul(X, w1) 的形状为 (m, P)，而 Y_hat 的形状为 (m, P)，如预期的那样使用广播（因为它应该具有与 Y 相同的形状）。