当没有为它们提供注释时，如何在 PascalVOC 2012 或 COCO 测试集上测试模型？

Question

我是计算机视觉领域的新手，所以如果问题有任何不当之处，我深表歉意。

我已经使用 PascalVOC 2012 数据集创建了一个分割模型，到目前为止，我只能在 train 和 val 数据集上对其进行测试。现在我想使用测试集测试我的模型，但是它没有提供任何注释，所以我不确定我可以做些什么来衡量我的模型在测试数据上的性能。

我注意到其他数据集，例如 COCO，没有为测试数据提供注解。

我很好奇那些发表过关于在这些数据集上训练的模型的论文的研究人员如何在这种情况下对测试数据进行测试，以及我可以做些什么来做同样的事情。

提前感谢您的帮助！

Answer 1

许多主要数据集不发布测试集的主要原因是避免人们由于过度拟合而报告不可靠的结果。

对于模型选择和“非正式”评估，您应该将训练集拆分为训练集和验证集，对后者进行评估，同时仅对第一个进行训练。

那么研究人员如何在论文中报告测试集的结果？

一旦您有了想要评估的最终模型，您就可以将结果上传到评估服务器；通过这种方式，您可以对自己进行基准测试。无需显式访问测试集即可获得最先进的技术。

例子：

• 对于COCO dataset，您可以找到here 关于如何上传结果（针对每项任务）的指南。
• 对于CityScapes dataset，您可以通过this 页面提交您的结果。

---

附带说明：VOC2012 已经很老了，所以如果你真的需要它，也许你也可以找到测试集。以 Joseph Redmon 的 this mirror 为例。