【问题标题】:Validation loss less than training loss (vald accuracy higher than training accuracy) without using dropout验证损失小于训练损失(vald准确度高于训练准确度)而不使用dropout
【发布时间】:2020-04-07 09:41:49
【问题描述】:
我一直在研究多任务模型,使用具有无 dropout 层的 VGG16。我发现验证准确度高于训练准确度,验证损失小于训练损失。
我似乎无法找出模型中发生这种情况的原因。
下面是训练图:
数据:
我正在使用(随机打乱的图像)70% 训练,15% 验证,15% 测试,15% 测试数据的结果如下:
你认为这些结果好得令人难以置信吗?
【问题讨论】:
标签:
tensorflow
machine-learning
keras
deep-learning
vgg-net
【解决方案1】:
一开始,是的,但最后你可以看到他们开始改变位置。
在训练结束时,您接近过拟合点(如果 val loss 开始增加或 val 准确度开始下降,那么您已经达到过拟合)
但在一开始,可以解释这种行为的可能是训练和测试之间的一些数据不平衡。也许你在验证数据库中有更简单的例子,或者类不平衡,或者更多的空值等等。