【发布时间】：2019-06-26 14:58:28
【问题描述】：
我正在用游戏数据训练一个具有 10 个隐藏层的深度残差网络。
有人知道为什么我在这里没有得到任何过拟合吗？ 经过 100 个 epoch 的训练后，训练和测试损失仍在减少。
【问题讨论】：
-
可能是因为训练数据和验证数据之间的差异不大？
-
应该是。它被打乱并随机分成训练和验证数据。我试过 80/20 和 50/50。输入是游戏状态，输出是获胜概率。通过自我游戏产生。行动空间巨大。所以数据应该都是不同的。网络不够复杂？我使用 Batchnorms，这能以某种方式防止过度拟合吗？
-
也许您处于欠拟合状态，需要增加模型复杂度。看起来你的训练损失已经稳定在 0.2
-
无法保证模型应该在给定数量的 epoch 之后开始过拟合；见Why I can not find lowest mean absolute error using Random Forest?（是关于射频的，但原理是一样的）。
标签： machine-learning neural-network deep-learning deep-residual-networks