通过增加 epoch 的数量来避免过拟合

Question

我在论文中使用了一个带有一个隐藏层的前馈神经网络。 Threby 我有 600 个训练数据和 104 个输入和输出值。现在我想展示神经网络的属性，并且还想展示当我增加 epoch 数时的过度拟合。 为此，我首先想找到学习率和隐藏节点数量的最佳值，我得到以下结果：

基于此，我决定选择 0.0125 的学习率和 250 个隐藏节点。但是通过使用这组参数，当我增加 epoch 的数量时，我仍然没有过拟合，可以在这里看到：

在这个图中，我用蓝色显示了我的旧参数集，理论上我想展示当我使用最好的参数集时它是如何改进的，但它只是略有不同。我也测试了它直到 epoch 1000，但这个值的准确度仍然是 0.830。

有人知道为什么会这样吗？

非常感谢您的帮助！

Answer 1

从帖子中不清楚您究竟为什么希望您的网络过度拟合。我怀疑您试图证明通用逼近定理的措辞 - 在这种情况下，wikipedia 页面可能包含关键见解

因此，该定理表明，当给定适当的参数时，简单的神经网络可以表示各种有趣的函数；但是，它没有涉及这些参数的算法可学习性。

换句话说，您可以保证存在足够大的网络以及可以（过度）拟合您的数据集的特定参数选择，但不能保证使用您实际使用的任何优化方案都会观察到这种过度拟合行为雇佣。