微调迁移学习中的模型答案

【问题标题】：Fine tuning a model in transfer learning微调迁移学习中的模型
【发布时间】：2021-01-17 12:04:39
【问题描述】：

我正在研究“年龄不变人脸检测”的深度学习模型。我从预处理数据开始，包括通过 MTCNN 进行人脸裁剪、图像对比度校正和锐化。然后我开始构建模型架构，我设计了一个自定义的顺序 CNN 模型。训练和验证损失接近 1.9，但模型在一个 epoch 中需要大约 8 小时。我需要快速的结果，所以我开始尝试迁移学习。我读了一篇论文，说 Resnet-18 在任务上表现良好，所以我先选择了 Resnet-18。尝试通过改变学习率来调整它，但没有用。准确率没有增加超过 40%。然后我选择了 Resnet-50，目前我正在研究它。我尝试通过手动更改学习率进行微调，尝试使用不同的优化器 Adam、SGD。使用学习率衰减。我的模型开始过拟合，所以我在训练数据中添加了 dropout、图像增强，并再次添加了 weight_decay，因为它仍然过拟合。现在没有过拟合，但损失没有减少。我正在尝试对其进行实验，每天阅读很多文章，但感觉就像我被困住了。

【问题讨论】：

标签： deep-learning data-science conv-neural-network resnet transfer-learning

【解决方案1】：

显然，这是特征工程出现的非常好的案例之一。通过应用一些经典的特征工程方法，尽可能地减少图像使用的计算能力。使用 MTCNN 是一种非常好的方法，我会仔细研究特征工程，这里还有一个 link，它可以为您提供一些 AHAA 时刻的性能。万事如意

【讨论】：