用于对象检测的预训练模型或从头开始训练？

Question

我有一个由 10k-15k 图片组成的数据集，用于监督对象检测，这与 Imagenet 或 Coco 非常不同（图片更暗，代表完全不同的事物，与工业相关）。

目前使用的模型是 FasterRCNN，它使用 Resnet 作为主干提取特征。 是否可以在一个阶段从头开始训练模型的主干，然后在另一个阶段训练整个网络，而不是加载在 Coco 上预训练的网络，然后在一个阶段重新训练整个网络的所有层？

Answer 1

根据我的经验，这里有一些要点：

• 您的训练集不够大，无法从头开始训练检测器（尽管取决于网络配置，fastrcnn+resnet18 可以工作）。最好在 imagenet 上使用预训练的网络；
• 网络预训练的域并不那么重要。网络，尤其是大网络，需要学习所有这些拱形、圆形和其他原始图形，以便使用这些知识来检测更复杂的物体；
• 火车图像的亮度可能很重要，但不会阻止您使用预训练网络；
• 从头开始训练需要更多的时期和更多的数据。训练时间越长，你的 LR 控制算法就越复杂。至少，它不应该是恒定的，而是根据累积损失来改变 LR。初始设置取决于多种因素，例如网络规模、增强和 epoch 数；
• 我玩了很多fastrcnn+resnet（不同层数）和其他网络。我建议你使用 maskcnn 而不是 fasterrcnn。只需命令它不要使用掩码，不要进行分割。我不知道为什么，但它提供了更好的结果。
• 不要将时间花在移动网络上，以您的训练集大小，您将无法使用一些合理的 AP 和 AR 对其进行训练。从 maskrcnn+resnet18 主干开始。