课程来源:吴恩达 深度学习课程 《卷积神经网络》
笔记整理:王小草
时间:2018年6月8日


1.目标定位Object localization

1.1 什么是目标定位

明确下目标定位与检测的定义。

识别一张图片的类型(比如猫狗分类)叫做图像分类image classification,比如下面这张图篇是分类到汽车:
【卷积神经网络】Lesson 3--目标检测

不仅识别出图片的类型,还将目标物体的位置标出来叫做分类定位classification with localization
【卷积神经网络】Lesson 3--目标检测

检测出图片中所有目标物体中的位置叫做目标检测detection
比如给出一张交通图片,检测并标记出里面的车辆,行人,自行车,交通灯等等。(注意,detection与classification with localization的不同在于单张图片中有不同分类的对象)
【卷积神经网络】Lesson 3--目标检测

本节要讲述的是以上第二种情况,即给图片分类,并定位和标记出出目标物体的位置

1.2 定位方法的介绍

标准的图像分类问题,假如如下输入一张图片,通过卷积神经网络卷啊卷,最后经过softmax层,分成4类:行人,汽车,摩托车,啥都没有
【卷积神经网络】Lesson 3--目标检测

如果你还想定位图片中汽车的位置,该咋办呢?你可以让上面这个神经网络再多加几个输出,输出汽车的边框。
汽车的边框信息只需要4个数字来表示:b_x,b_y,b_h,b_w,分别表示边框的中心点的横坐、,纵坐标,边框的高,边框的宽。
【卷积神经网络】Lesson 3--目标检测

因此在标注训练数据时,除了给出类别的标签,还要给出表示边框的4个数字。然后通过有监督的训练模型,输出一个分类标签和四个边框参数值。

1.3 符号约定

(1)定义标签y
y是8*1的向量(注意这里我们只限定讲解图像中只有一个目标物体的情况)。
【卷积神经网络】Lesson 3--目标检测
Pc表示概率:是否有目标物体,若有车辆,摩托车,行人目标物体,则Pc=1,若这三个都没有则Pc=0;
bx,by,bh,bw分别表示目标物体边框的中心点横纵坐标与高宽
c1,c2,c3分别表示当Pc=1时,图片属于车辆,摩托车,行人的类别的概率。

因此上面这个例子的标签y可以写成图左,而什么都没检测到可以写成图右。
【卷积神经网络】Lesson 3--目标检测

(2)定义损失函数
分别将y向量中的8个元素写成y1,y2,…,y8,其中Pc=y1,以此类推。
对于单个样本的损失:
当y1=1时,就是这把个元素对应的平方差损失之和;
当y1=0时,就只是y1的平方差,后面7个元素都不用考虑
【卷积神经网络】Lesson 3--目标检测

在实际中,也可以不这样定义,可以将y1的输出用逻辑回归的损失函数定义,bx,by,bh,bw的输出用平方差和来定义,而c1,c2,c3用softmax的Log损失来定义.

2.特征点检测Landmark detection

神经网络可以通过对特征点(x,y)的输出来识别目标特征。来举2个例子。

例子1:
假设要识别人脸左眼角的特征点,则只需要让神经网络的最后一层输出(Pc,lx,ly)3个值即可,Pc表示是否是人脸,lx,ly是人脸上眼角的坐标点。
【卷积神经网络】Lesson 3--目标检测

假设想定位两只眼睛的4个眼角的位置,那就将输出改为4组坐标对应的数字(l1_x,l1_y),…,(l4_x,l4_y)
【卷积神经网络】Lesson 3--目标检测

假设想定位两只眼睛的一圈,则可能需要10几个特征点,同样,将输出增加到10几坐标即可,这样就可以识别出人脸上眼睛的形状等特征从而做一些后续的判断。同理,可以输出脸部的更多特征点,比如嘴唇,从而可以根据这些特征点预测任务的表情,是伤心还是开心。
【卷积神经网络】Lesson 3--目标检测
假设总共有128个特征点,则输出有129维,y={Pc, l1_x,l1_y,…l128_x,l128_y}

通过特征点检测,想想我们平时用的美颜相机(哦,对了,笔者是女生),可以在脸上头上加一些装饰,比如猫胡子啊,皇冠啊,帽子啊,发饰啊,并且无论怎么动都能加在正确的位置上,者也是用了特征检测,检测出某些特征点的位置,然后将这些额外的装饰添加在对应的特征点位置上。

例子2:
若将身体的关键点作为特征点,则可以识别任务的动作与形态:
【卷积神经网络】Lesson 3--目标检测

3.目标检测object detection

目标检测实则分为两步。

假设要检测图片中所有汽车
第一步:图片分类
先收集图片,将有汽车的图片中的汽车挖出来作为图片的中心,然后进行标记汽车与非汽车,并利用卷积神经网络学习出汽车分类模型。
【卷积神经网络】Lesson 3--目标检测

第二步:滑动窗口检测
设定一个指定大小的窗口,从图片的左上角开始,以指定的步长进行从左往右,从上往下的滑动,每滑动一次,都将窗口内的图像截取出来,输出第一步训练好的分类模型中预测是否是汽车,若是,则输出该窗口当前的左边信息,若不是,则继续滑动寻找。
【卷积神经网络】Lesson 3--目标检测
【卷积神经网络】Lesson 3--目标检测

若滑动完所有区域还是没有找到汽车,则将窗口增大一点点,继续从新滑动寻找。
【卷积神经网络】Lesson 3--目标检测

这样做的缺点很明显:每滑动一次都要用神经网络预测一次,计算量非常大。

4.滑动窗口的卷积实现

上一节讲了通过窗口滑动来进行目标检测,但效率低计算量大,本节来讲一讲如何在卷积上实现窗口滑动,从而提升效率与速度。

来自论文[Sermanet et al.2014,Overfeat:Integrated recognition, location and detection using convolutional network]

4.1 将全连接层转变为卷积层

首先了解一下如何将全连接层转变为卷积层,接下去的滑动窗口的实现会用到它。
传统的图像分类结构如下,输入图片,经过卷积和池化,然后经过全连接层和softmax层,最终预测分类类别的概率。
【卷积神经网络】Lesson 3--目标检测

将最后两层的全连接层修改为卷积层。将第二层的输出556经过400个556的卷积核,得到11400的输出,代替原来的全连接层的输出400,同理第二个全连接层也改成经过400个11400的卷积核,得到11400的输出,将最后的全连接层也改成经过4个11400的卷积核,得到114的输出。
【卷积神经网络】Lesson 3--目标检测
于是后面3层的全连接都变成了卷积层的模式。

4.2 滑动窗口的卷积实现

将上面全连接转变成卷积层后的如下显示(注意,其实是立体的,只是为了方便直观理解接下去的讲解,现在以平面的视角展示)
【卷积神经网络】Lesson 3--目标检测

假设我们已经训练好上面这个4分类的模型了。
现在给出一张16163的图片,滑动窗口的大小为14143。
以传统的做法:滑动窗口以2个像素的步长进行从左到右,从上到下的滑动,会得到4张截图,分别依次输给分类卷积神经网络进行预测,得到分类的类别。总共做了4次卷积预测,但这样当图片很大,滑动窗口又比较小的时候,会带来巨大计算量
【卷积神经网络】Lesson 3--目标检测

实际上,4次卷积操作中有很多计算都是重复的。
我们将16163的图片也同样进行如上卷积,与11400对应的,会有22400的输出结果。在最终输出的4个自放款中,左上角蓝色那一块实则对应了左上角14143的蓝色区域。
【卷积神经网络】Lesson 3--目标检测

因此,实际上,无需通过滑动窗口依次取出截图去执行前向传播进行分类预测,只需要直接将原图像进行卷积,其中的共有区域可以共享很多计算。
也就是说,给出一张图片,比如汽车:
【卷积神经网络】Lesson 3--目标检测
无需滑动n次,并进行n次分类预测,而是直接把整张图片进行卷积后,一次性得到每个区域的分类结果。

5.Bounding box预测

5.1 yolo算法

上一节的方法大大降低了目标检测的计算量,但仍有缺陷:检测的边框不够精确。本节来解决边框预测不精确的问题。

很多时候,窗口无论怎么滑动都取不到完整的目标物体:
【卷积神经网络】Lesson 3--目标检测

要解决这个问题,常用的解决办法是yolo算法,优点是只要看一次。
来自论文[Redmon et al.,2015, You Only Look Once:Unified real-time object detection]

给出一张100100的图片,为了方便讲解,此处粗粒度地分为33的格子。
【卷积神经网络】Lesson 3--目标检测
一般情况下,对每个格子对应的图像进行分类预测,分类的方式与第1节讲述的一样,因此在训练数据中药现将每个格子都进行标记:
【卷积神经网络】Lesson 3--目标检测
因此,对于最左上角的格子,什么东东都没有,得标记成:
【卷积神经网络】Lesson 3--目标检测
而有大部分车体的两个格子(yolo算法将物体的中心点所在的格子算作是有该物体的格子)的标记为:
【卷积神经网络】Lesson 3--目标检测

因为有33个格子,且每个格子的预测label向量有8个元素,总共输出的吃春是33*8.

yolo的整个过程是,输入图片1001003,若以33的根子为划分,经过卷积神经网络,输出338
【卷积神经网络】Lesson 3--目标检测
若一个格子中存在多个对象,我们稍后讨论。但在实践中一般会用更小的格子网络,比如19
19,那么多个对象分配到同一个格子上的概率就会小很多

yolo的优点:
(1)输出更精确的坐标,不收滑动窗法分类器的步长限制
(2)使用卷积实现的过程,可以一次性得到结果

3.2 如何编码边框坐标

在yolo算法中,每个格子的左上角是(0,0),右下角是(1,1),以下图右车为例:
【卷积神经网络】Lesson 3--目标检测
车的中线点坐标为(0.4,0.3),即bx=0.4,by=0.3
宽和高是相对于格子的百分比,车子的宽大概占了格子宽的90%,因此bw = 0.9,车子的高占了格子的50%,则bh = 0.5

其中bx,by肯定是0-1之间的坐标,因此其值在0-1之间;
而bw,bh可能超过1,因为可能车子的长度超过了格子长度,有一部分跑到了另一个格子去。

6.交并化Intersection over union

如何判断对象检测算法运作良好呢?我们可以使用并交比函数来评价对象检测算法。

假设下图,红框是正确的检测边框,紫框是模型预测出来的检测边框
【卷积神经网络】Lesson 3--目标检测
要评价模型预测的效果,就用两者相交的面积/两者相并的面积,这个占比就是交并化函数输出的指标,在0-1之间,一般指定一个阀值0.5,若占比>=0.5则模型的预测是可以接受的。当然严格一点的话,你也可以提高阀值。

7.非极大值抑制Non-max suppression

Non-max suppression可以有效保证在图像中只对物体检测一次,避免重复检测加大计算量。

假设用Yolo算法,把图像分成19*19的网格,这两辆车只会属于其中心点所在的网格,但是实际上车子覆盖的其他网格,也都会去想我这里是不是一辆车,造成了重复计算。
【卷积神经网络】Lesson 3--目标检测

直观得来了解下Non-max suppression是如何起作用的。
【卷积神经网络】Lesson 3--目标检测
首先会有多个框框检测出自己里面都有汽车,每个框框都会得到一个并交比系数;
对于同一个目标物体的多个框框,比较它们的并交比,选出最大的那个框框颜色加深,将其他的比值小的框框都减弱颜色使其变暗,最终目标物体会得到1个较好的边框。

深入得来理解下Non-max suppression的算法过程
仍然将图像分割成19*19的网格:
【卷积神经网络】Lesson 3--目标检测
假设只识别汽车这一个类别,每个网格的输出就是:
【卷积神经网络】Lesson 3--目标检测
1.首先抛弃掉pc<=0.6的box
2.对剩下的boxs(边界框):

  • 选择pc最大的那个输出作为预测值
  • 将剩下的pc与预测值相同,IoU >= 0.5 的box抛弃掉
    直到每个box都被判断过,它们有的作为输出结果,剩下的和输出结果重叠面积太高的会被抛弃掉。

若同一张图片中检测n个目标物,则要对每个物体都进行以上步骤。

8.Anchor Boxes

以上所有,有个缺点,就是每个网格只能检测出一个对象。如果想让一个格子能检测出多个对象,那么久可以用Anchor Boxes。

假设这样一张图片:
【卷积神经网络】Lesson 3--目标检测
人和车重叠,其两个物体的中心点都在同一个网格内,此时若还是用这样的输出:
【卷积神经网络】Lesson 3--目标检测
就不行了,因为一次只能输出一个类别。

Anchor Boxes的做法是预先定义两个不通过形状的anchor box(实践中可能会用更多个)
【卷积神经网络】Lesson 3--目标检测
然后将预测结果将这两个anchor box关联起来。
重新定义标签y:
【卷积神经网络】Lesson 3--目标检测
前面8个元素是针对行人的预测,后面8个元素是针对汽车的预测。

训练的时候,不仅仅关注与标注的边框一样,还要关注预测的边框与anchor box的并交比。

例子:
还是这张图片:
【卷积神经网络】Lesson 3--目标检测

预定义两个Anchor Boxes
【卷积神经网络】Lesson 3--目标检测

输出标签y的形式:
【卷积神经网络】Lesson 3--目标检测

因此又有人又有车的网格的标签应该是y:
【卷积神经网络】Lesson 3--目标检测
若检测到的边框与Anchor Boxes1的并交比很大,则将预测值写在y的上面8个元素,若与Anchor Boxes2的并交比较大,则将预测值输出再y的下面8各元素,以此来区分检测出来的边框到底是人呢还是汽车。

若没有人只有车,则y:
【卷积神经网络】Lesson 3--目标检测

Anchor Boxes算法有两个缺点:
(1)当两个目标物图的边框很相似或一样的时候,就失效了,比如检测电视机和电脑,都是差不多方方的形状。
(2)当数据集中出现了3个目标物体,则失效了,需要重新定义模型,定义新的输出y的形式才行了。

9.YOLO算法

至此,我们已经讲述了对象检测算法的大部分零件,这一节,将将所欲零件组装构成完整的yolo对象检测算法。

9.1 构建训练集

假设要检测一张图片中的3个类别:pedestrain, car, motocycle,分成33的网格(实践中一般为1919)。
【卷积神经网络】Lesson 3--目标检测

训练集的标签y为3328:(28分别是2个Anchor Boxes对应的类别)
【卷积神经网络】Lesson 3--目标检测

训练集的特征x是遍历网格中的9个小格子,分别给他们都标记一个y.
其实这个图片中只有1个格子里有车,其余8个格子里都没有车,因此没有车的标记为
【卷积神经网络】Lesson 3--目标检测
有车的标记为
【卷积神经网络】Lesson 3--目标检测
其中bx,by,bh,bw就是这辆车在该格子中的边框

9.2 预测

因此向卷积神经网络中输如图像为1001003,若分割成33的网格,则输出的大小为33*16
【卷积神经网络】Lesson 3--目标检测

###9.3 使用Non-max suppression
为了让例子更有趣,我们用一张新的美女图。
【卷积神经网络】Lesson 3--目标检测

若使用2个anchor box,则针对每个网格都会输出2个预测边框,其中一个概率pc很低(注意,有些边框可能会超出所在格子的宽度和高度)
【卷积神经网络】Lesson 3--目标检测

接着,你要抛弃pc概率低的预测,得到这些剩下的边框
【卷积神经网络】Lesson 3--目标检测

然后,如果你有3个类别(行人,车,摩托车),则你要分别对这3个类别单独进行Non-max suppression,运行3次来得到最终的预测结果

10 RPN网络Region proposals

10.1 R-CNN

如果你读了对象检测的论文,你会发现有一个概念叫Region proposals候选区域,在计算机视觉里很有影响力。

回归上文的算法(非yolo),会对一张图片中的滑动窗口,都过一遍卷积神经网络,但问题是一张图片中其实只有少量窗口有目标物体,其他吃昂口是完全没有任何用的,因此对于完全没有目标物体的窗口去计算也显得耗时耗力。因此,论文[Girshik et,al,2013,Rich feature hierarchies for accurate object detection and semantic segmentation]提出了一种叫做R-CNN的算法,即带区域的卷积神经网,只是选择某些有意义的窗口运行卷积神经网络进行预测。

运行图像分割算法,得到如下结果:
【卷积神经网络】Lesson 3--目标检测
然后将每个色块作为一个整体跑一下分类器去进行检测(加入有2000个色块),因此上图在蓝色区域进行检测,可能能检测出一个人,淡蓝色区域可能能检测出一辆车

通过图像分割,从而针对性得对一些整体去检测,比在图像的所有位置都跑一边要大大减小计算量。

10.2 R-CNN的改进

R-CNN的速度还是不能使研究者们满意,于是有了一系列研究工作对该算法进行改进。

基本的R-CNN:
利用图像分割求出候选区域,对每个候选区域进行分类,输出类别标签和边框。

Fast R-CNN:
[Cirshik,2015.Fast R-CNN]
与R-CNN的区别是,Fast R-CNN使用了滑动窗口的卷积实现来进行分类(本文第4节),而不是对每个窗口都进行分类。

Faster R-CNN:
[Ren et.al, 2016. Faster R-CNN: Toweards real-time object detection with region prposal network]
但Fast R-CNN还是有缺点,即图像分割的时候,色块的聚类特别慢。于是另一个研究组提出了Faster R-CNN,利用卷急神经网络来获取候选区域色块。

但实际上,大部分更快的R-CNN,都还是比yolo算法慢。

分类:

技术点:

相关文章: