10 倍测试对测量过拟合有意义吗？

Question

据我了解，如果 1. 收敛过快 2. 验证损失不断增加，则模型肯定是过拟合

同样，据我所知，除非您使验证损失收敛到与训练损失相似的趋势，否则无法解决此问题，因此您可以进行更多数据扩充等。

但是，我读过的许多论文都声称 10 倍是稳健性的标志，并表明模型没有过度拟合。但是，当我重新创建这些实验时，我可以说它们确实过拟合，无论它们是否显示出强大的准确性。此外，许多人似乎认为他们只会增加 10 倍，这很好。在评论中，他们只要求进行 10 倍的实验来解决过度拟合问题。

我的理解错了吗？是否有希望验证损失不会收敛但会上升？或者除了validation loss还有什么措施？

Answer 1

我假设，10 倍测试是指 10 倍交叉验证。

通常，交叉验证仅适用于非常小的数据集，即少于 1000 个样本。

过度拟合意味着您的模型的复杂性远高于所需。过度拟合的一个典型标志是非常高的学习准确度与低验证准确度。

因此，使用 10 折交叉验证本身可能无法防止过拟合。 考虑两个例子：

首先，学习准确率99.8%，10折交叉验证准确率70%。

二、学习准确率77%，10折交叉验证准确率70%。

在这两种情况下，相同的 10 折交叉验证导致 70% 的准确度。但是，第一种情况显然是过拟合的，而第二种情况则不是。

我希望，这可以澄清情况。