来源：https://blog.csdn.net/sinat_32043495/article/details/78841553
- 全连接层 / FC layer
两层之间所有神经元都有权重连接
通常全连接层在卷积神经网络尾部
- 激励层(ReLU)把卷积层输出结果做非线性映射
Sigmoid
Tanh(双曲正切)
ReLU
Leaky ReLU
ELU
Maxout
梯度消失：这本质上是由于激活函数的选择导致的， 最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小（饱和区），导致后向传播过程中由于多次用到激活函数的导数值使得整体的乘积梯度结果变得越来越小，也就出现了梯度消失的现象。
梯度爆炸：同理，出现在激活函数处在激活区，而且权重W过大的情况下。但是梯度爆炸不如梯度消失出现的机会多。