不能过拟合神经网络

Question

我有一个简单的编码器-解码器网络。编码器有几层conv1d，最后是线性的，它们之间有Relu，解码器由conv1d层和它们之间的Relu组成（没有batch norm或dropout）。 使用这个模型，我尝试过拟合一个例子，我使用批量大小=1 并且总是给出相同的输入和相同的期望输出，但是没有成功。损失确实下降到某个阈值，但无论我做什么，我都无法使损失低于这个界限，并且输出是无用的。我尝试了更复杂的编码器/解码器，更改超参数，对我的数据进行不同的预处理，但我永远无法获得低于该阈值的损失。 仅针对协议，如果我将其作为输入提供所需的输出（因此它将学习 id 函数），则网络可以正常工作，但这对我没有帮助。

如果您知道可能是什么问题，我将不胜感激。

Answer 1

以较低的学习率尝试更多的 epoch。
尝试增加密集层的大小。
尽量避免任何 Dropout 层。
如果这是您想要的，这些可能会使模型更容易受到过度拟合的影响。