【问题标题】：different method in weight changes on Backpropagation algorithm?反向传播算法中权重变化的不同方法？
【发布时间】：2013-09-05 20:51:45
【问题描述】：

我一直在使用this tutorial 作为我在编码反向传播方面的参考。但是，今天，我发现 another tutorial 与我使用了相同的参考，但使用了另一种方法来改变突触权重。这两种方法有什么不同？

编辑

感谢Renan 的快速回复。

主要区别在于：

第一种方法是在计算每个神经元（节点）中的 delta 后更改突触权重。
在第二种方法中，增量是根据上层的增量计算突触权重后计算的。

注意：如果仍然不清楚，我将编辑此说明。谢谢。

【问题讨论】：

不要链接到这两个站点并期望我们阅读所有这些教程，您应该在此处描述这两种方法。

标签： algorithm neural-network backpropagation

【解决方案1】：

等式计算

由于当前层的增量取决于上一层和当前层之间的权重层，因此这两种方法都是正确的。

但是会不正确在计算下一层的增量之前将输入权重调整到一层！

方程式

Here you can see the mathmatical equation for calculating the derivative 
of the Error with respect to the weights depends on the weights between 
this layer and the layer above. (using Sigmoid)
O_i = the layer below   # ex: input
O_k = the current layer # ex: hidden layer
O_o = the layer above   # ex: output layer

【讨论】：