参考文献《https://cloud.tencent.com/developer/news/379428

目的:目的是对属于同一基础类别的图像(汽车、狗、花、鸟等)进行更加细致的子类划分。

难点:细微的类间差异以及较大的类内差异

数据集:1,Stanford Dogs Dataset:http://vision.stanford.edu/aditya86/ImageNetDogs/main.html

2,Caltech-UCSD Birds:http://www.vision.caltech.edu/visipedia/CUB-200.html

3,Caltech 256:http://www.vision.caltech.edu/Image_Datasets/Caltech256/;

4,Stanford car:http://ai.stanford.edu/~jkrause/cars/car_dataset.html

。。。

 

方法:

方向:

1. 基于常规图像分类网络的微调方法

2. 基于细粒度特征学习(fine-grained feature learning)的方法

3. 基于目标块的检测(part detection)和对齐(alignment)的方法

4. 基于视觉注意机制(visual attention)的方法

 

1,具体有:AlexNet、VGG、GoogleNet、ResNet、DenseNet、CliqueNet和 SENet等.

另有:《Embedding label structures for fine-grained feature representation》--CVPR 2016

Zhang等人进一步将度量损失函数引入到精细分类网络的微调中来。具体而言,每次输入三个样本(Postive,Reference以及Negative)到三个共享权值的网络中,然后利用三个网络的特征输出用来计算损失函数,除了传统的softmax 损失函数,三个特征输出还构成了广义的triplet 损失(其中还嵌入了label structures)。最后两个损失函数联合用来微调网络。

2,例子有:《Bilinear CNN Models for Fine-grained Visual Recognition》

细粒度分类

图中2个特征模块尾部的乘积处表示2个矩阵外积得到一个新矩阵(细粒度分类),再通过池化得到一个向量。

3,

细粒度分类

《Part-based R-CNNs for Fine-grained Category Detection》

另外,cvpr2019,深睿研究院的一篇基于半监督检测的细粒度分类文献《Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification from the Bottom Up》效果很好,主要思想如下:利用CAM通过一个分类模型得到图片的关键区域,再通过CRF修正与目标检测方法迭代产生更合适的目标proposal(多个),再在这些proposal中利用补充模型选择算法选出最合适的proposal,再利用LSTM进行特征提取并分类,标签只有图像的分类标签,因此是半监督算法。

 

4,基于视觉注意机制的方法。

代表文章是cvpr2017 oral 《Look Closer to See Better: Recurrent Attention Convolutional Neural Network
for Fine-grained Image Recognition》

相关文章:

  • 2021-12-01
  • 2021-11-02
  • 2021-11-29
  • 2022-12-23
  • 2021-12-23
  • 2021-04-14
  • 2022-01-04
猜你喜欢
  • 2022-01-04
  • 2021-12-09
  • 2021-06-22
  • 2021-11-30
相关资源
相似解决方案