更新神经网络权重时如何解释梯度和偏导数？答案

【问题标题】：How to interpret gradient and the partial derivative when updating the weights of Neural Network?更新神经网络权重时如何解释梯度和偏导数？
【发布时间】：2020-06-09 20:33:49
【问题描述】：

我刚刚开始研究神经网络，并设法弄清楚如何推导出反向传播所需的方程。我花了将近 3 天的时间询问了我所有的教授，并在谷歌上搜索了我能找到的所有内容。我的数学技能确实很差，但我真的很想了解这个特殊的公式在数学上是如何有意义的。该公式用于在找到梯度后更新权重。

W1 = W0 - L * (dC/dw)

地点：

W1 = 新权重

W0 = 旧体重

L = 学习率

dC/dw = 误差函数的偏导数和 Cost 的梯度向量的成员功能

到目前为止我所知道的：

梯度是其偏导数的向量，最大增长率由梯度本身给出。每个偏导数给出了导数相对于方向的最大变化率。
dC/dW 是这些偏导数之一。
dC/dW 评估为变化率。它的标志可以告诉我们变化的方向。该值本身是成本变化与特定重量下重量变化之间的比例。
不知何故，将 dC/dW 乘以学习率只是将该学习率的一小部分作为权重变化。

我无法调和的：

学习率只是一个没有单位的标量。怎么可能只用一个标量乘以一个速率并最终得到一个可测量的重量变化？我在这里有什么不明白的地方？

【问题讨论】：

请阅读Under what circumstances may I add “urgent” or other similar phrases to my question, in order to obtain faster answers? - 总结是这不是解决志愿者的理想方式，并且可能会适得其反。请不要将此添加到您的问题中。

标签： machine-learning neural-network gradient-descent calculus stochastic-gradient

【解决方案1】：

人工神经网络（ANN）是基于取自人类神经系统的概念。人类神经系统的基本单位是神经元。为了感知刺激，这些神经元存在于整个身体中，每个神经元都与另一个神经元相连，以便将信息从身体的那一部分传递到大脑。神经元的信号传递受某些化学物质的浓度控制存在于神经元中。那里化学物质的浓度通常保持在平衡状态，直到感觉到刺激才会受到干扰。因此，除非有刺激，否则不会将信号传递给其他神经元。然而，当感知到刺激时（例如，一个人从其尖端切割了他的身材，那里的神经元在身材尖端感知到刺激），神经元表面上的化学物质浓度增加并且信号是传递到另一个神经元。内部编码的信号和信息的性质取决于化学物质变化的浓度。

在 ANN 中，神经元是数学函数或公式，神经元的权重类似于人类神经元中的化学浓度水平。应调整权重，以便固定公式可以编码所有信息以执行所有所需的预测，如通过化学浓度在人类神经元中编码的那样。为了找出正确的权重，人工神经网络通过大量数据来训练人工神经网络所针对的问题。

学习率是一个标量，通常在 0 和 1 之间变化，包括 0 和 1。简单的学习率定义了更新权重的速度。导数是两个值之间的变化率。这里，在这种情况下，两个点是预测值和实际值。因为，(dC/dw) 你也可以简单地使用成本函数，它也被称为整个网络中错误的那个神经元的责任。公式可能会因层而异，也可能因文本而异。这是一个链接，它很好地详细解释了前馈神经网络结构。希望您能理解。如果您仍然感到困惑，您可以进一步询问。

【讨论】：