制作你自己的神经网络反向传播

Question

我正在阅读 Make Your Own Neural Network 一书，在作者描述反向传播的章节中，我发现自己很困惑。我想将作者解释的方式与一个示例联系起来，其中他显示了一个 2 节点、3 层网络 sh，如下图所示：

如果我为反向传播构建上述神经网络的矩阵表示，它将如下所示：

其中 W^T_{hidden_​​output} 是输入权重的 Matrix 转置，因此详细的 Matrix 表示为：

所以如果我现在想计算隐藏的错误（e_{1_hidden} 和 e_{2_hidden}），我有以下内容：

e_{1_hidden} = W₁₁ * e₁ + W₁₂ * e₂

e_{2_hidden} = W₂₁ * e₁ + W₂₂ * e₂

但如果我应用示例中给出的值，其中 e₁ = 1.5 和 e₂ = 0.5，我不会得到 e _{1_hidden} = 0.7 和 e_{2_hidden} = 1.3

我的理解/计算哪里出了问题？有什么帮助吗？

Answer 1

您描述的误差反向传播只是基于乘以链接权重，而图片将误差拆分为与链接权重的比例。描述了这两种差异，例如在this webpage:

在图片中，您会看到错误按与链接权重的比例进行拆分，例如e₁ = 1.5根据W₁₁ = 1.0和W₂₁ = 3.0的权重分为0.6和0.9。 （进一步注意，图中权重的下标也是错误的，因为只有W₁₁，其他的都用W₁₂表示...）

然后将这个拆分错误添加到隐藏层的最终错误中，例如：

e_{隐藏 1} = 0.6 + 0.1 = 0.7.