mAP随着训练张量流对象检测SSD而降低

Question

我正在尝试训练 SSD 移动网络检测器来检测显微图像中的细胞核。我在 Ubuntu 16.04 上使用 tensorflow 对象检测 API 和 tensorflow（版本 1.4）的 GPU 实现。我的输入图像是带有注释细胞核的 256x256 RGB jpg 瓷砖。

当我开始训练时，我发现 mAP 有很大的增加，并且在大约 6k 全局步长（批量大小 12）时，我可以检测到大多数细胞核，但对同一细胞核进行了多次检测。

奇怪的是，在这一点之后，mAP 开始下降，并且模型检测到的细胞核越来越少，尽管 TotalLoss 继续下降。在 100k 步时，几乎没有检测到原子核。

我使用 SSD 的标准配置文件，只是我降低了匹配/不匹配框的截止值。如果我不使用此修改，模型将难以检测到任何细胞核，因为它们是小物体并且与它们重叠的框太少。

matcher {
  argmax_matcher {
    matched_threshold: 0.3
    unmatched_threshold: 0.3
    ignore_thresholds: false
    negatives_lower_than_unmatched: true
    force_match_for_each_row: true
  }

为什么尽管 TotalLoss 有所提高，但 mAP 和检测精度会随着时间的推移而降低？我对结果的直觉是，检测模型越来越准确（从来没有误报），但敏感度越来越低（很多误报）。

任何建议都非常感谢！

（这里有一些来自 tensorboard 的示例图片）

0 steps

1241 steps

53024 steps

92176 steps

Answer 1

好的，所以在对配置文件进行了一些实验（=盲目猜测）之后，我想我找到了问题的答案 - 我把它放在这里希望其他人可以受益。

首先，mAP下降的原因可能是设置：

matched_threshold: 0.3
unmatched_threshold: 0.3

根据我的实验，将此设置降低（就像我所做的那样）低于 0.5 似乎会破坏模型并使其在训练期间中断（随着时间的推移降低 mAP）。

其次，当尝试在显微图像中检测细胞核时（这可能也适用于其他已知大小的小物体），SSD 似乎对锚生成器中的最小/最大设置非常敏感。

anchor_generator {
  ssd_anchor_generator {
    num_layers: 6
    min_scale: 0.2
    max_scale: 0.95

当我开始（并且经常失败）时，我对此设置使用了一个球场估计值，当使用不同的图像尺寸等时，突然在 128x128 像素时，模型变得非常好，mAP 0.9 或多或少地检测到每个细胞。当试图弄清楚它为什么突然起作用时，我在图像中注释对象的相对大小上打印了直方图，我意识到我很幸运使用 128x128 模型配置文件并准确地达到了范围。

然后我回到所有其他模型和尺寸，当使用特定图像尺寸中细胞核的确切尺寸范围时，模型表现完美，即使在细胞核较大的图像尺寸（例如 512 像素）中仅占图像宽度的 3-15%。即使在 1024px 下采样到 512 并且核仅覆盖图像宽度的 1-7% 时，只要精确指定尺寸范围，模型也可以正常运行。

对于我的应用程序来说，这实际上不是问题，因为我事先知道预期的功能大小，但是对于更普遍的问题，我猜这是一个弱点..