挽救发散的神经网络

Question

我有一个 DCNN，在经过几个 epoch 的训练后出现了分歧，但最初取得了不错的效果。返回一个纪元或纪元的一小部分，降低学习率并继续，是否“安全”，或者我应该假设某些权重可能接近病态，因此有必要完全重新开始训练（使用降低学习率）？

一个相关的问题是网络内部的什么样的行为会产生这样的结果。我认为发散应该在训练的早期发生，而不是在网络似乎已经接近完全收敛的时候。

Answer 1

1. 没有。这是不安全的，因为如果分歧是由大的学习率引起的，它很可能发生在开始的时期。有些权重可能已经病态。

2. 一般来说，结果主要是梯度误差造成的。梯度错误可能来自：

   你的DCNN中某层的前后词计算错误： 前向和后向计算的错误都可能导致模型参数更新的梯度错误，虽然它可能不会在开始时引起发散，但它可以以错误的方式更新某些参数并累积直到这些参数变得病态到足以导致训练分歧。

   数值不稳定性：例如，当你计算 X 的方差 D(X) 时，D(X)=E{[X - E(X)]^2} 具有更大的数值不稳定性比 D(X) = E(X^2) - E^2(X) 因为最后一个可能导致负 D(X) 从而导致梯度误差甚至发散。