深度学习的随机梯度

Question

我正在阅读有关深度学习概念随机梯度的信息。在下面的快照中，我不明白“在这个方向上迈出重要一步的一般问题是，当我们移动时，我们脚下的梯度可能会发生变化！”我们在下图中展示了这个简单的事实。我无法解释这个数字。请解释

Answer 1

我们希望减少预测值和实际值之间的误差。将实际值和预测值视为 2D 中的一个点。您应该将预测值点移动到与实际值点一样近的位置。要移动点，您需要一个方向，而 SGD 会提供它。

看图像，C，轮廓中心是实际值，P1是第一个预测值，SGD（蓝色箭头）显示的方向是减少P1和C之间的距离。如果从P1开始并且您在第一个箭头方向上迈出重要（大）一步，您将在远离 C 的 P2 处结束。但是，如果您迈出小步（蓝点），并且在每一步中，您将根据新的 SGD 方向移动（每个点的蓝色箭头）您将到达靠近 C 的点。

大的步数会让你在实际值附近波动，太小的步数也需要很长时间才能达到实际值。大多数时候，我们在开始学习过程中使用大步骤，然后将其变得越来越小。