前言
前面几篇文章都是在为后边的内容做铺垫，下面通过规范化的概念给出卷积神经网络定义
给卷积神经网络定义之前首先看一下多层感知机神经网络，是由输入层、隐含层、输出层决定的，右上角是计算公式，多层感知机和卷积定义有什么联系？多层感知机也可以叫全连接神经网络，因为它输入层、隐含层、输出层，层与层之间都是边进行相连，所以说叫全连接神经网络。
MLP
01
全连接网络
我们以这层看看
可不可以把这个看做特殊的卷积操作，它是输入层乘上矩阵的一个列，只看hi的话，它是乘上一个向量，这个权重矩阵的某第i个列，x乘上权重向量通过**函数得到的，那这个我们可不可以看做特殊的卷积核，特殊在哪呢？输入为m维向量，输出大小也是m维向量，那它和前面讲的卷积有什么不同？卷积最大的特点是能滑动，为什么能滑动？因为它这个卷积核要比输入的维度小。
从这里可以看出全连接和卷积神经网络有什么区别？全连接就是一个特殊的卷积过程，特殊在它的feature map维度要和输出维度是一样的，所以说全连接它不能滑动，只能得到一个维度的结果。
区别：Feature Map维度与输入维度是否相同
全连接：相同；卷积操作：不同
那从上面的角度，给出卷积的定义。
一次卷积操作：用小于m维的Feature Map，以每个输入节点为中心，从左向右滑动，得到m个新的特征。假设Feature Map维度为3。
CNN
请看下面的流程图：
根据上面的定义，以每个节点为中心，因为以节点为中心，x1左侧没有，所以先填充一个临界点，相邻三个相乘相加作为c1输出，这个一个卷积核对x1为中心的节点的计算。对x2也能得到一个新的值c2，一直往右移动，就能得到一串数值，一直往右移动就能得到一串数值，这一串数值就是一次卷积得到的结果。也就是用小于feature map的三维向量，从左到右，跟它覆盖到的进行一对一的相乘，得到的值求和，也就是加权和，得到对应卷积层的节点(得到一个一维向量)。这是用一个卷积核得到的向量，我们一般会用多个卷积核，假设用了n个不同的卷积核，相当于用了n个不同的三维向量，分别能计算出n个输出(向量)。
前面说过卷积核pooling形影不离，使用max pooling，通过对每次卷积的结果选出最大值，得到了n维向量，这是一次卷积的过程。
02
卷积层
03
全连接层
卷积有什么特点，我们都是相对于全连接层来说的，左边是卷积的网络结构，右边是全连接的网络结构，卷积连接是稀疏的，共用参数的，不像全连接层每个结果都是用不同的参数得到的，根据上两层的特点，我们可以让卷积的参数比全连接的参数要少很多，因为它是稀疏连接，而且是共用参数，那我们前面一直在说为什么深度学习比浅层学习好，因为可以用更少的参数表达更复杂的问题，卷积这个操作又可以进一步减少参数。
平移等变，卷积操作是平移等变，先平移再卷积，还是先卷积再平移效果是一样的。
什么让它有这个特点，慢慢滑动的，从左到右从上到下的性质让卷积有了平移等边特性。
04
卷积操作特点
稀疏链接：大量减少参数规模。
共享参数：用同一套参数学习每个局部信息。
平移等变：f 对于g 是等变的 f(g(x)) = g(f(x))
卷积操作的平移等变性
01
先卷积后平移
下面是卷积后结果
02
先平移后卷积
下面是卷积后结果
不管是先平移后卷积还是先卷积后平移，两个输出是一样的，卷积的平移等边性
全连接操作的平移等变性
01
先全连接后平移
02
先平移后全连接
为什么说卷积的全连接没有平移等边性呢？
全连接没有滑动的过程，你这个平移过去，它是找不到对应的位置的。
图片就是由上面好多数字组成。
图像颜色接近的地方，图像数值差不多接近的，我们可以用平均值或者最大值来表示这块像素值，这样以前一块得用多个参数表示，现在只需要一个参数表示，但是由于图像本身的特点，局部的像素值是一样的，使用一个代表一下就可以，局部不变性是图像特有的，可以大大减少参数。pooling是图像特有的。从图像本身也具有局部不变性，而文本没有！
局部不变性：pooling 抽取的是局部特征，因此，当输入发生少量偏移，输出的结果并不会改变。
小结
卷积是特殊的全连接
卷积通过稀疏链接和共享参数大大降低了参数规模
卷积中Pooling等很多特性都是为图像量身定制