横轴是时间，从2012年的第一个季度到2016年的第一个季度，纵轴是谷歌内部项目使用深度学习的数量的变化图。
回归深度学习的历史：
一个隐藏层可以代表任意的函数，为什么需要这么深的网络呢？
RBM intialization并不是真正的突破，起到的效果很有限，所以现在文献中很少提了。
深度学习的步骤如下所示：
全连接层：
计算结果如下所示：
给定神经网络的结构，本质上相当于定义一个函数集合。
相邻层之间的神经元两两之间都有连接，所以称为是全连接层。
深度学习指的是包含很多隐藏层的网络。
全连接层本质上就是矩阵的乘法。
GPU提高了矩阵运算的速度。
隐藏层是对特征进行提取，输出层是得到类别。
手写数字识别，所使用的神经网络的输入是256维，输出是10维。
超参数的选择？
AutoML
梯度下降：
自己能计算梯度嘛？
反向传播可参考以下链接：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/MLDS_2015_2/Lecture/DNN backprop.ecm.mp4/index.html
网络越深效果越好吗？
为什么不使用宽度学习，而是使用深度学习呢？
推荐资料如下所示：
- My Course: Machine learning and having it deep and structured
http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLSD15_2.html
6 hour version: http://www.slideshare.net/tw_dsconf/ss-62245351 - “Neural Networks and Deep Learning” written by Michael Nielsen
http://neuralnetworksanddeeplearning.com/ - “Deep Learning” written by Yoshua Bengio, Ian J. Goodfellow and Aaron Courville
http://www.deeplearningbook.org