第一个 epoch 后训练损失显着减少，验证损失不稳定答案

【问题标题】：Training loss decreases dramatically after first epoch and validation loss unstable第一个 epoch 后训练损失显着减少，验证损失不稳定
【发布时间】：2022-01-12 18:58:14
【问题描述】：

我使用 EfficientNet-B0 作为 Siamese 网络中的子网，并使用对比损失作为图像相似性任务的损失函数。我的数据集非常大（27550 张图像用于训练），有 2 个类。在第一个 epoch 之后，训练损失显着减少，而验证损失不稳定。过拟合能这么早发生吗？还是我的数据有问题而令人困惑？ Here is the graph I get after training my model with 100 epochs

【问题讨论】：

训练和测试的班级比例是否相同？
这里是我的数据集的描述细节：训练数据（Class1：14123，Class2：13427，Total：27550），Validation data（Class1：2513，Class2：3016，Total：4889），测试数据（Class1：1346，Class2：3543，总计：5529）。

标签： python deep-learning pytorch loss-function siamese-network

【解决方案1】：

首先，通过设置较低且可变的 learning_rate 来绘制训练和验证损失。这可能是因为更高的学习率。其次，我们都知道模型过拟合，当训练损失远小于测试损失时。通过使用、dropout、正则化和更深层的模型（vgg、ResNet），您可以改进它。

【讨论】：