验证损失和准确性都有一个尖峰

Question

我使用 Pytorch 通过迁移学习 ResNet18 完成图像分类任务。我对迁移学习网络使用了微调。我有 16 个类，每个类有 100 个训练图像和 24 个验证图像。下面是损失图和准确度图。我的问题是： 1. 训练过程是否正确？我的意思是是否存在过度拟合。 2. 为什么在第 4 个 epoch 会有一个尖峰？这是否意味着过度拟合？谢谢

Answer 1

1. 没有任何明显的过拟合，因为您的验证损失/准确度接近训练损失/准确度。不过，如果您想进一步减少边距，您可以使用图像增强技术或正则化。

2. 特定时期的峰值并不一定意味着过度拟合，因为您的网络稍后能够从中恢复。这可能是因为权重处于糟糕的局部最小值中。您可以通过使用不同的随机种子多次运行实验来检查这是常见的还是只是一种异常。在前一种情况下，使用不同的优化器或降低学习率可能会有所帮助。