【deeplearning.ai】卷积神经网络

计算机视觉可以解决的问题：

1. 图片分类
2. 物体检测
3. 图片风格迁移

padding操作的作用：

1. 保证输出大小：不用padding时，feature map会越来越小
2. 防止边缘信息被逐步遗忘，因为边缘网格信息只经历少数卷积，而中间网格信息可多次通过卷积进行保存。

卷积时输入输出的尺寸计算：

⌊n−f+2ps+1⌋，其中输入大小为n∗n，卷积核大小为f∗f，填充为p，步幅为s。$$\lfloor \frac{n-f+2p}{s}+1\rfloor ，其中输入大小为n\ast n，卷积核大小为f\ast f，填充为p，步幅为s。$$

  这就代表着，若步幅导致最后不能完全概括（不能整除），边缘信息将舍去。

卷积网络对比全连接神经网络的优势：
  参数共享和稀疏连接。稀疏连接大概意思就是一个feature map的网格值与输入的一个区域有关，在区域外的输入相当于权重为0，这和局部连接差不多概念。

各经典网络回顾

卷积神经网络发展经典网络结构和改变

LeNet-5

  当时没有使用padding操作，使用的**函数为sigmoid和tanh，使用的池化为平均池化。网络结构细节如下：

1. 输入32∗32∗1$32\ast 32\ast 1$的灰度图片；
2. 使用大小为5∗5$5\ast 5$，步幅为1$1$的卷积核，此时feature map大小为28∗28∗6$28\ast 28\ast 6$；使用大小为2$2$，步幅为2$2$的平均池化，此时feature map大小为14∗14∗6$14\ast 14\ast 6$；
3. 使用大小为5∗5$5\ast 5$，步幅为1$1$的卷积核，此时feature map大小为10∗10∗16$10\ast 10\ast 16$；使用大小为2$2$，步幅为2$2$的平均池化，此时feature map大小为5∗5∗16$5\ast 5\ast 16$；
4. 将feature map铺平，则变为400*1的向量；以下全连接层大小依次为120、84、10；

AlexNet

  AlexNet在模型结构上，与LeNet-5不同的地方在于：1) 使用了Relu**函数；2) 使用了same padding（卷积后输入尺寸和输出尺寸相同的padding）；3) 使用最大池化；
  AlexNet在模型训练上，增强的地方在于：1) 使用dropout=0.5的操作； 2) 使用了数据增强操作（平移，偏转，区域取块）
  网络结构细节如下：

1. 输入为227∗227∗3$227\ast 227\ast 3$；
2. 使用96个大小为11∗11$11\ast 11$，步幅为4$4$的卷积核，此时feature map大小为55∗55∗96$55\ast 55\ast 96$；使用大小为3∗3$3\ast 3$，步幅为2$2$的最大池化，此时feature map大小为27∗27∗96$27\ast 27\ast 96$;
3. 使用256个大小为5∗5$5\ast 5$，填充方式为same padding的卷积核，此时feature map大小为27∗27∗256$27\ast 27\ast 256$；使用大小为3∗3$3\ast 3$，步幅为2$2$的最大池化，此时feature map大小为13∗13∗256$13\ast 13\ast 256$；
4. 1）使用384个大小为3∗3$3\ast 3$，填充方式为same padding的卷积核，此时feature map大小为13∗13∗384$13\ast 13\ast 384$；2）使用384个大小为3∗3$3\ast 3$，填充方式为same padding的卷积核，此时feature map大小为13∗13∗384$13\ast 13\ast 384$；3）使用256个大小为3∗3$3\ast 3$，填充方式为same padding的卷积核，此时feature map大小为13∗13∗256$13\ast 13\ast 256$；使用大小为3∗3$3\ast 3$，步幅为2$2$的最大池化，此时feature map大小为6∗6∗256$6\ast 6\ast 256$；
5. 将6∗6∗256$6\ast 6\ast 256$的feature map平展为9216*1的向量，以下全连接层大小依次为4096、4096、1000。

VGGNet

  该网络和之前网络最大的不同在于，VGGNet没有那么多的超参数（卷积核，步幅等），是专注于构建卷积层的简单网络，其将卷积核大小固定为3∗3$3\ast 3$，卷积步幅固定为1$1$，填充形式为same padding。池化层的大小固定为2$2$，步长固定为2$2$。该网络的关键是每一层卷积核的数量。该网络的提出，简化了神经网络结构。

ResNet

  在引入残差块之前，理论上网络越深其训练误差会越来越低，但由于梯度消失和梯度爆炸的存在，在网络达到一定深度后，优化算法对网络参数更新的
效果不明显，导致其训练误差反而上升。残差块的核心思想是引入一个“身份捷径连接”（identity shortcut connection），跳过一层或多层，使得梯度和特征信息更好传播。

  其参数大致是如此传递的a[l+1]=g(w[l+1]a[l]+b[l+1])$a^{[l+1]}=g(w^{[l+1]}{a}^{[l]}+b^{[l+1]})$，下一层是接收跳跃信息的：a[l+2]=g((w[l+2]a[l+1]+b[l+2])+a[l])$a^{[l+2]}=g((w^{[l+2]}{a}^{[l+1]}+b^{[l+2]})+a^{[l]})$，就是在 Relu 操作前添加了上上层传递来的信息。

ResNet 为什么有效？

  假设一个网络模型有100层，在某训练集上其70层就能达到效果，那么后面30层就是在学习一个恒等函数。ResNet网络在学习恒等函数时拥有很大的优势，即最后几层的W$W$和b$b$都等于零，则a[l+2]=g(0+a[l])=a[l]$a^{[l+2]}=g(0+a^{[l]})=a^{[l]}$。而传统卷机网络学习

1*1卷积的作用

1. 压缩信道量（channels），减少计算
2. 给网络添加非线性元素

Inception网络

  Inception网络的基本思想是不需要人为考虑使用哪个过滤器（尺寸），或是否使用池化等，只需要让网络自己确定。Inception将不同尺寸的过滤器的结果组合起来，让网络自由选择使用哪些过滤器，其代价是增加了计算量（使用1*1的卷积，可以减少计算量，比如原先过滤器是32个5*5*192，通过1*1的卷积，过滤器前的输入可以变成28*28*16，则过滤器变成32个5*5*16），但释放了内存。

  这些过滤器都使用same的卷积方式，保证其输出是相等长、宽的（包括最大池也使用了填充，其步幅为1）。