使用 RMSPROP 进行训练会产生不同的结果答案

【问题标题】：Training with RMSPROP gives different results使用 RMSPROP 进行训练会产生不同的结果
【发布时间】：2017-07-27 17:23:40
【问题描述】：

我正在训练一个神经网络（RNN 之上的 CNN），使用 theano，并使用 RMSPROP 进行优化（我正在使用 lasagne 实现）。我的问题是，每次我训练网络时，我都会得到完全不同的结果（准确度）。我正在使用固定种子初始化参数，当我使用 SGD 训练时，问题不会发生，所以我猜 RMSPROP 是导致问题的原因。

这是 RMSPROP 的正常行为吗？处理这个问题的最佳做法是什么？我应该多次训练网络并采用最佳模型吗？

我也在每次使用一个示例进行优化（我的训练集很小，所以我没有使用小批量或批量）这是 RMSPROP 的一种好习惯吗？

【问题讨论】：

标签： optimization neural-network deep-learning conv-neural-network recurrent-neural-network

【解决方案1】：

通常 40 左右的批大小会产生更好的结果，而根据我使用默认 RMsprop 对 3 个 epoc 的 40 个批大小进行训练的经验，准确率约为 89%。您是否尝试过调整 RMsprop 优化器的学习率？首先尝试使用一个非常小的值（默认为 0.001，在 keras 实现中），然后尝试将其增加 10 或 100 倍。

【讨论】：