SuperPoint:Self-Supervised Interest Point Detection and Description 论文笔记
论文链接：论文.
代码：代码（可惜没有提供训练代码）.
本文提出了一种同时训练特征点和描述子，并且适用于大规模多视野几何问题的自监督训练模型，和传统的特征点方法，如LIFT、SIFT以及ORB相比，有极佳的准确性，并且使得算法实时性得到大幅度提升。
本文亮点
针对现有神经网络模型对语义信息提取不佳，同时传统神经网络的训练需要大量真值（ground truth）标注的问题，本文通过提出自监督模式以减轻手工标定的负担。
SuperPoint由MagicPoint和Homographic Adaptation两部分构成。
1、由于没有大规模用于兴趣点训练的数据集，作者首先构造了一个名为Synthetic Shapes的数据集，其中包含了大量简单的几何图形，用来训练特征点提取器，并将其命名为MagicPoint，MagicPoint针对一般图片取得了不错的效果，但是由于是通过简单几何图形训练而来，其对一般图片的纹理及模式信息提取能力较差，其过程如下图所示。
2、Homographic Adaptation通过修剪输入图片（可以理解为抠图），使得特征提取器（MagicPoint）可以获得图片多个视野的信息，通过两种结合（构成Superpoint）来解决上述问题，其过程如下图所示。
3、最后运用一个描述子子网络来提取图片的描述子，通过兴趣点和描述子的结合，实现完整的特征点匹配过程，其过程如下图所示。
训练方法
SuperPoint创新地运用了同时训练兴趣点提取器和兴趣点描述子的方法，使得两者可以共享计算量，缩短了训练时间，其结构图如下。
实验结果
其中，ε表示正确率的阈值。
可以发现，SuperPoint在绝大数情况下均优于传统的特征点提取方法。