【问题标题】:Validation loss is neither increasing or decreasing验证损失既不增加也不减少
【发布时间】:2021-03-11 10:00:42
【问题描述】:

通常,当模型过拟合时,验证损失会上升,而训练损失会从过拟合点下降。但就我而言,训练损失仍然下降,但验证损失保持在同一水平。因此验证准确度也保持在同一水平,但训练准确度上升。我正在尝试使用 UNet 从 3D 卷重建 2D 图像。当我尝试从 2D 图像重建 3D 体积但损失更高且精度更低时,行为也是如此。有人可以解释为什么验证损失没有从过度拟合的角度下降的曲线吗?

【问题讨论】:

  • 请不要在您的问题中包含图片链接。
  • 你的训练损失还是太高了。但是在包含一些代码之前很难说出原因。
  • 是的,这是因为 SSIM。这不是交叉熵损失之类的东西。我也是第一次发帖。所以我不知道如何包含图像。我上传了图片,它是作为链接提供的。

标签: python pytorch unity3d-unet


【解决方案1】:

趋势表明您的模型过度拟合。克服过拟合的方法包括:

  1. 使用数据增强
  2. 使用更多数据
  3. 使用丢弃
  4. 使用正则化
  5. 尝试降低学习速度!

【讨论】:

  • 1.但是,在过度拟合的情况下,验证准确度不会下降可以吗?是不是它的 val 准确率应该下降而训练会因为过度拟合而上升?这是我最初的疑问。 2. 我尝试过使用数据增强。然后训练准确度在 200 个 epoch 中根本没有上升。 3. 使用您提到的其他措施来应对过度拟合,我已经尝试了所有这些措施。它仍然没有太大变化。那么你能回答我关于 val 准确度曲线的第一个问题吗?
  • 是的,它没有改变,因为您的模型已达到最大容量以最小化验证错误。这就是为什么它没有改变。在某些时候,根据问题的难度,考虑使用更多数据或更改模型架构。您是否也研究过 Batch Norm?您是否确保在输入模型之前对数据进行规范化?
猜你喜欢
  • 1970-01-01
  • 2017-08-14
  • 2021-02-01
  • 2022-12-26
  • 2020-08-17
  • 2021-04-13
  • 2020-06-17
  • 2021-11-07
  • 2020-10-02
相关资源
最近更新 更多