h694879357

1、NN----神经网络

2、CNN卷积神经网络

CNN网络一共有5个层级结构:

    • 输入层
    • 卷积层
    • 激活层
    • 池化层
    • 全连接FC层

 

一、输入层

与传统神经网络/机器学习一样,模型需要输入的进行预处理操作,

常见的输入层中预处理方式有:

  • 去均值
  • 归一化
  • PCA/SVD降维等

1、去均值:各维度都减对应维度的均值,使得输入数据各个维度都中心化为0,进行去均值的原因是因为如果不去均值的话会容易拟合。

2、归一化:

一种是最值归一化,比如把最大值归一化成1,最小值归一化成-1;或把最大值归一化成1,最小值归一化成0。适用于本来就分布在有限范围内的数据。 另一种是均值方差归一化,一般是把均值归一化成0,方差归一化成1。适用于分布没有明显边界的情况。

3、PCA/白化

(1).PCA是指通过抛弃携带信息量较少的维度,保留主要的特征信息来对数据进行降维处理,思路上是使用少数几个有代表性、互不相关的特征来代替原先的大量的、存在一定相关性的特征,从而加速机器学习进程。(降维技术可单独讲)      

 PCA可用于特征提取,数据压缩,去噪声,降维等操作。      

(2).白化的目的是去掉数据之间的相关联度和令方差均一化,由于图像中相邻像素之间具有很强的相关性,所以用于训练时很多输入是冗余的。这时候去相关的操作就可以采用白化操作,从而使得:                    

       1.减少特征之间的相关性                    

       2.特征具有相同的方差(协方差阵为1)      

(3)举个白化的例子,如对于两个特征的关联分布如左图,可以看出特征组合点存在线性关系,此时我们进行白化后(特征向量的投影)可以变成右图的形式,无关联性。    

而且白化因为进行了方差均一化,所以还可以提升训练速度。      

二、卷积层

三、激励层

所谓激励,实际上是对卷积层的输出结果做一次非线性映射。 

 

 如果不用激励函数(其实就相当于激励函数是f(x)=x),这种情况下,每一层的输出都是上一层输入的线性函数。容易得出,无论有多少神经网络层,输出都是输入的线性组合,与没有隐层的效果是一样的,这就是最原始的感知机了。 
常用的激励函数有:

Sigmoid函数
Tanh函数
ReLU
Leaky ReLU
ELU
Maxout
  中间激励层建议:首先ReLU,因为迭代速度快,但是有可能效果不加。如果ReLU失效的情况下,考虑使用Leaky ReLU或者Maxout,此时一般情况都可以解决。Tanh函数在文本和音频处理有比较好的效果。分类网络的最后一层激活函数一般用(即预测函数):softmax函数,或者结合其他函数

四、池化层

池化(Pooling):也称为欠采样或下采样。主要用于特征降维,压缩数据和参数的数量,减小过拟合,同时提高模型的容错性。主要有:

  • Max Pooling:最大池化
  • Average Pooling:平均池化 

关于池化的博客:https://blog.csdn.net/qq_41661809/article/details/96500250

虽然人不太容易分辨出池化后的特征图,但是没关系,机器还是可以识别的。

五、输出层(全连接层)

 

分类:

技术点:

相关文章: