为什么在不改变学习率的情况下训练错误会跳跃？

Question

我正在训练一个包含大约 10 个卷积层和几个池化层的卷积网络。训练集大约有 250,000 个样本（16,000 个长度向量）。通过第一个 epoch 大约 50%，训练和测试错误从大约 68% 跃升至 92%。学习率是相同的（批量梯度下降）。批量大小为 32。是什么导致了这种跳跃，如何解释这种跳跃？

Answer 1

在斯坦福的深度学习课程https://youtu.be/wEoyxE0GP2M?t=1h18m2s找到这张幻灯片

给出的解释是，这是参数初始化错误的症状。有一段时间几乎没有学习，然后突然参数调整到正确的方向，你会得到一个显着的准确性和/或损失峰值。