深度学习框架
1、线性回归——>神经网络
线性回归：给定一些有线性映射关系的数据，希望能得到线性映射关系
神经网络：叠加了多个非线性映射构成
2、神经网络——>CNN
将全连接的神经网络扩展成为CNN和RNN是非常有意义的。这种拓展使得某些神经元间的连接是非全连接的，同时，使同一层中某些神经元之间的连接的权重是共享的（即相同的）。这种结构大大降低了网络模型的复杂度，这对于深层网络是很有必要的，大大减少了权值的数量。
对于传统的神经网络，输入是一维向量，不同层之间简单的代数运算后经过非线性激励，形成新的一个学习层，与下一层进行信息交互。
而CNN的核心思想是将传统神经网络中的代数运算用卷积核来代替，卷积核是二维的处理算子。因此CNN主要应用于图像处理。卷积核的大小取决于要提取的特征分布和区分度，如果本身要提取的特征很小那卷积核也应该很小,卷积核太大可能导致丢失一些局部特征。
可以将CNN理解为是传统神经网络在空间上的拓展。
CNN的一些应用：
图像识别与标注、目标检测（生成图像主题、内容）、机器人或游戏的参数控制
3、神经网络——>RNN
RNN则是对传统神经网络从时间维度的拓展。
一维信息具有前后的时间联系（如，语音信号，文章等），为使神经网络能够学习到这样一种前后关系，考虑将神经网络某一时刻的输出作为下一时刻的输入，这样将对上一时刻的信息有所保留。
RNN的一些应用：
文本生成、机器翻译、情感分析、自然语言建模
4、RNN——>LSTM
考虑到RNN在tn时刻的输出是由t1、t2、…、t3、tn递归得到，信息在反向传播过程中，先前的信息逐层递减。为了保存很久以前的对当前时刻很重要的信息，LSTM（Long short term memory）长短时记忆，采用门控结构控制信息流入流出神经细胞。门控结构根据输入信息判断哪些是需要提前记忆的，在下一时刻选择是否释放，即可对长时记忆进行控制。
5、CNN观察决策+外部反馈——>增强学习
增强学习是模拟人类学习的过程而建立的模型，利用CNN理解外部特征，自主进行连续决策，直至学习到一个好的决策路径。例如，训练种得一个好瓜，通过观察瓜的生长过程（观察茎叶是否枯黄），模型自主决策是否需要浇水施肥，最后得到一个红壤水分充足（目标，人为给出）的好瓜。
增强学习应用：
自动驾驶、AlphaGo、股票的动态交易、医疗的动态治疗方案等
6、生成网络+判别网络——>对抗网络
同时训练生成网络和判别网络，即得到对抗网络，它是是一种无监督学习，可用于生成大量逼真的数据，可用于扩充深度学习的训练集。
参考来源：
1、深度学习：从原理到应用
http://www.chinahadoop.cn/course/854