算法都差不多，
计算优化，IO优化，怎么样计算速度更快（分布式计算）,怎么让CPU，GPU发挥到极致。
底层架构+分布式计算+算法==》无敌
经典卷积神经网络概述
• 卷积神经网络的发展规律
– 精度越来越高
– 层次越来越深
– 模型越来越复杂
– 参数越来越多
• 痛点
– 减少计算量和IO，应用到移动端
– 减少冗余，提高泛化能力
• 业界
图1：ImageNet大赛历年冠军
1、输入特征图（input feature）的数量决定于？2、输出特征图（output feature）的数量决定于？3、通道的数量决定于？
1、滤波器（filter） 2、通道（channel） 3、卷积核（kernel）
卷积神经网络的进化规律总结
• LeNet->AlexNet->VGG->NIN>GoogleNet->ResNet
– 网络结构越来越深，精度越来越高（性能）
– 卷积功能越来越强，精度越来越高（性能）
– 计算和存储量并没有随着网络层次的增多而线性增长（计算）
• 用到技术
– 从神经元出发，ReLU
– 从权值参数出发，Dropout、GP、LRN、BN
– 从拓扑结构出发，比如1*1卷积、分支卷积、瓶颈结构