需要陷入神经网络中的局部最优答案

【问题标题】：Need to get stuck into a local optima in neural network需要陷入神经网络中的局部最优
【发布时间】：2013-03-26 22:28:44
【问题描述】：

我需要陷入前馈神经网络中的局部最优。我需要一个示例和权重初始化，使用最陡梯度下降将陷入局部最优（在每个维度的特定边界权重内）。我找不到这样的例子，至少看起来是这样，因此无法测试新算法。

谁能指出一些文档、资源，或者给我一个如何陷入局部最优的例子。

【问题讨论】：

您知道您至少需要两个非线性层才能使误差函数成为非凸函数，对吧？此外，一些人推测，在训练过程中，人工神经网络高原比局部最小值更常见。
@RomanShapovalov：您能否提供一个参考，即需要多个非线性隐藏层才能使表面不凸？我所知道的是我们需要至少一个隐藏层来使误差表面不凸。是的，我正在进入看起来像高原的地区，但我需要一个例子来检查算法的修改。
我猜你是对的，顶层可能是线性的，只要隐藏层不是。我会试着想一个例子。
我有使用 sigmoid 阈值的隐藏层和输出层。

标签： machine-learning neural-network

【解决方案1】：

让我们分析一下“陷入局部最优”的含义。看看SARPROP paper。 SARPROP 是一种前馈神经网络的学习算法，其目标是避免陷入局部最优。查看链接文档第 3 页上的图 1。它显示了关于单个权重的误差表面。在训练的早期阶段，这个误差面会迅速改变。但是一旦算法接近收敛，这个关于一个权重的误差面就会稳定下来。现在，如果您的学习算法无法将权重“推”过“山丘”以达到更好的最优值，那么您就陷入了某个权重的局部最优。 SARPROP 试图通过向原始 RPROP 中涉及的权重更新添加正噪声来解决这个问题。所以算法有机会被推出这样的“山谷”。

现在，为了构建局部最优的收敛，您应该计算一组随机权重，这些权重在以下保持固定。现在使用一种已知可以快速收敛到局部最优的学习算法，例如 RPROP。然后使用相同的权重初始化并应用 SARPROP 或您的新算法。然后比较例如网络收敛后，您的训练数据上的均方根误差。使用数百个权重初始化并应用统计信息来执行此操作。

【讨论】：

我正在使用简单的反向传播在 XOR 和其他一些众所周知的数据集上训练小型网络。到目前为止，训练时间很长，我找不到任何证据表明新算法在某些情况下可以获得更好的结果。所以，我的问题是，是否有一些我可以重现以陷入局部最小值的特定情况。