#本文意为总结自己学习的网络模型,以留作笔记使用，如有错误,欢迎在下方评论
一、简介
NIN改进了传统的CNN，采用了少量参数就取得了超过AlexNet的性能，AlexNet网络参数大小是230M，NIN只需要29M
二、网络结构
NIN文章使用的网络架构如图（总计4层）：3mlpconv + 1global_average_pooling
改进：
1、传统CNN使用的通用线性模型（generalized linear model ，GLM) [蓝框部分] 被替换为 多层感知机（MLP，多层全连接层和非线性函数的组合） [绿框部分] ：
以前的卷积层，局部感受野运算仅仅是是一个单层的神经网络（线性滤波器对图像进行内积运算，在跟着一个非线性**函数），mlpconv层可以看成局部感受野上进行conv运算之前，还进行mlp运算，而MLP网络中，常见的使用三层的全连接结构，等效于普通卷积后在连接1:1的卷积和Relu函数
优点：1. 提供了网络层间映射的一种新可能；2. 增加了网络卷积层的非线性能力。
2、先前CNN中的 全连接层 被替换为了 全局池化层 (global average pooling)
传统的卷积网络用卷积提取特征，然后得到的特征再用FC+softmax逻辑回归分类层进行分类。
使用全局平均池化层，每个特征图作为一个输出。这样参数量大大减小，并且每一个特征图相当于一个输出特征（表示输出类的特征）。
参考：NIN 论文笔记