1.升维、降维:减少训练参数量。比较典型的例子就是残差结构:1x1卷积

 

简单对比一下:

左图参数量:3*3*64*2 = 1152

右图参数量:1*1*64 +1*1*256 + 3*3*64 = 896

顺带贴俩个公式:

1x1卷积

2. 增加网络的非线性:

在保证了feature map尺寸没有变化也即分辨率没有变化的前提,利用其后接的非线性**函数,增加网络的非线性结构,可以把网络做的很深。(这有个疑问?增加非线性而且还DEEP会梯度消失吗???

3.跨通道信息交互

在升维降维的过程中可以理解为不同通道的信息的交互。(注:不同的通道的交互是线性组合,也就是不同通道在一个卷积核卷积后得到不同的feature map之后进行相加得到最终所需要的一张feature map)

插一张多通道卷积计算图:

1x1卷积

 

全连接网络

卷积就是全连接层的简化:不全连接+权值共享,

全连接:全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和**函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。参数量巨大,占到了整个网络的80%,近期一些性能优异的网络模型如ResNet和GoogLeNet等均用全局平均池化(global average pooling,GAP)取代FC来融合学到的深度特征。

4.与全连接层相比:

1.不改变空间结构:全连接层会破坏图像的空间结构,而1×1卷积层不会破坏图像的空间结构。

2.输入可以是任意尺寸:全连接层的输入尺寸是固定的,因为全连接层的参数个数取决于图像大小。而卷积层的输入尺寸是任意的,因为卷积核的参数个数与图像大小无关。

 

 

相关文章:

  • 2021-04-10
  • 2021-06-10
  • 2021-04-11
  • 2021-08-27
  • 2021-08-13
  • 2021-09-14
  • 2021-04-17
猜你喜欢
  • 2021-08-24
  • 2021-10-25
  • 2021-10-31
  • 2021-06-12
  • 2022-12-23
  • 2022-01-17
相关资源
相似解决方案