物体检测损失不减少，AP增加

Question

我正在尝试训练一个对象检测模型来检测和分类 10 个类别。我的原始数据集非常稀疏且不平衡，总共包含 3k 个标记图像，类别之间的分布如下：

第 1 课：21

第 2 课：22

第 3 类：9

第 4 类：192

5 级：2240

第 6 课：319

第 7 课：56

8 级：190

第 9 课：44

第 10 课：167

由于这种稀疏性，我对所有图像进行了增强，即添加噪声、模糊、对比度、亮度和水平翻转。我还用噪点、对比度和亮度进一步增强了翻转的图像。生成的数据集由 37k 个标记图像组成，分布如下：

1 类：4235

第 2 类：5365

第 3 类：2385

第 4 类：10755

第 5 班：17185

第 6 类：4035

第 7 班：3150

第 8 班：3820

第 9 课：555

第 10 课：1500

下图显示了 4 个不同会话的不同损失。粉红色的图是 37k 图像的增强数据集的结果，其他图来自先前在约 2.5k 图像的原始数据集上运行的结果。正如您从粉红色图表中看到的那样，总损失并没有从其初始值减少（就像之前运行的蓝色和红色图表的情况一样）。 RPN loss在减少，而box classifier loss却在增加，请问这是什么原因？

我还包含了每个类的平均精度的图像。在我看来，大多数类的精度一直在稳步增加，而损失没有减少，这在我看来就像模型过度拟合？通过像我所做的那样增加每一个数据集来将数据集放大 10 倍是一个坏主意吗？我还在下面包含了我正在使用的配置文件。任何关于如何提高我的训练结果的建议都非常感谢！

 model {
  faster_rcnn {
    num_classes: 10
    image_resizer {
     fixed_shape_resizer {
       height: 300
       width: 500 
     }
    }
    feature_extractor {
      type: 'faster_rcnn_inception_resnet_v2'
      first_stage_features_stride: 8
    }
    first_stage_anchor_generator {
      grid_anchor_generator {
        scales: [0.25, 0.5, 0.75, 1.0, 1.5,2,3]
        aspect_ratios: [0.5,1,2,3]
        height: 32
        width: 32
        height_stride: 8
        width_stride: 8
      }
    }
    first_stage_atrous_rate: 1
    first_stage_box_predictor_conv_hyperparams {
      op: CONV
      regularizer {
        l2_regularizer {
          weight: 0.0
        }
      }
      initializer {
        truncated_normal_initializer {
          stddev: 0.01
        }
      }
    }
    first_stage_nms_score_threshold: 0.0
    first_stage_nms_iou_threshold: 0.5
    first_stage_max_proposals: 300
    first_stage_localization_loss_weight: 2.0
    first_stage_objectness_loss_weight: 1.0
    initial_crop_size: 17
    maxpool_kernel_size: 1
    maxpool_stride: 1
    second_stage_box_predictor {
      mask_rcnn_box_predictor {
        use_dropout: True
        dropout_keep_probability: 0.6
        fc_hyperparams {
          op: FC
          regularizer {
            l2_regularizer {
              weight: 0.0
            }
          }
          initializer {
            variance_scaling_initializer {
              factor: 1.0
              uniform: true
              mode: FAN_AVG
            }
          }
        }
      }
    }
    second_stage_post_processing {
      batch_non_max_suppression {
        score_threshold: 0.3
        iou_threshold: 0.5
    #    soft_nms_sigma: 0.5
    #   use_class_agnostic_nms: True
    #    max_classes_per_detection: 1
        max_detections_per_class: 100
        max_total_detections: 100
      }
      score_converter: SOFTMAX
    }
    second_stage_localization_loss_weight: 2.0
    second_stage_classification_loss_weight: 1.0
  }
}
train_config: {
  batch_size: 1
  use_multiclass_scores : False  
  optimizer {
    #momentum_optimizer: {
    adam_optimizer: {
      learning_rate: {
        manual_step_learning_rate {
          initial_learning_rate: 0.0001
          schedule {
            step: 150000
            learning_rate: .00001
          }
          schedule {
            step: 250000
            learning_rate: .000001
          }
        }
      }
      #momentum_optimizer_value: 0.9
    }
    use_moving_average: false
  }
  gradient_clipping_by_norm: 10.0
  from_detection_checkpoint: false

  data_augmentation_options {
    random_horizontal_flip {}
  }

  data_augmentation_options {
    random_crop_image {
      min_object_covered : 1.0
      min_aspect_ratio: 1
      max_aspect_ratio: 1
      min_area: 0.5
      max_area: 1
       random_coef: 0.5
     }
  }
}

Answer 1

不幸的是，对于深度学习，通常很难区分是哪个参数导致了问题。从您的问题来看，即使使用数据增强（这是一件很棒的事情），您每个班级拥有的图像数量似乎也有很大差异。

例如，在您扩充数据后，您最终会得到这些包含图像的类

第 5 班：17185

第 9 课：555

第 5 类有 17,185 张图像，而第 9 类只有 555 张。图像数量存在巨大的不平衡，通常希望每个类别的图像数量尽可能接近。

在训练时，您将有一个验证部分，其中将使用来自所有类的图像池在该实例中测试模型。如果你有一堆图像在一个类中而不是另一个类中，该模型将更好地验证来自较大类的图像，同时努力验证来自较小类的图像，因为模型没有很多示例与更大的班级一起训练，或者它开始在更大的班级中进行更重的训练，因为那里有更多的训练示例。