前言
如题，本文记录深度学习系列第一章“1.深度学习入门”的相关笔记。
学习来源
1 深度学习的提出
深度学习的概念是由Hinton在2006年提出，他当时首次提出了深度信念网络(DBN)，相比之前，他采用无监督方式逐层训练深层网络，在深层网络训练中取得了跨越式的进展。虽然称为是深度学习，但其实是深层神经网络。神经网络或者说人工神经网络早在上个世纪都已经提出，但是在Hinton之前，很少人尝试去训练深层神经网络，也当然没有深度的概念了。2006年可以说是深度学习的元年，但是对于神经网络来说，虽然不是元年，但确是其振兴的又一个重要转折点。神经网络之前经历了跌宕的发展，但是从此时之后，它重回时代的舞台。
看到这我有疑惑：
1）深度学习和神经网络有什么区别？
2）深度学习的定义到底是什么？
1.1 深度学习的定义
参考wiki百科。
定义：
Deep learning is a class of machine learning algorithms that uses multiple layers to progressively extract higher-level features from the raw input. For example, in image processing, lower layers may identify edges, while higher layers may identify the concepts relevant to a human such as digits or letters or faces.
The word “deep” in “deep learning” refers to the number of layers through which the data is transformed.
可以应用于有监督学习和无监督学习：
For supervised learning tasks, deep learning methods eliminate feature engineering, by translating the data into compact intermediate representations akin to principal components, and derive layered structures that remove redundancy in representation.
Deep learning algorithms can be applied to unsupervised learning tasks. This is an important benefit because unlabeled data are more abundant than the labeled data. Examples of deep structures that can be trained in an unsupervised manner are neural history compressors and deep belief networks.
1.2 深度学习和神经网络有什么区别？
参考：
2 深度学习如何入门
先学习2个基本模型：
如果要入门深度学习，掌握了神经网络基础之后，可以先学习深度学习两个最基本的模型：卷积神经网络(CNnsorflow以及Facebook的Pytorch等等，大家可以选择某个框架从简单的N)和递归神经网络(RNN)。前者主要用于计算机视觉(CV),后者主要用于自然语言处理(NLP)。
然后学习模型的训练方法：
然后还要学习一下深度学习模型的训练方法，即相关梯度下降法（SGD）以及相关变体，值得注意的是SGD方法需要计算梯度，这不得牵扯到经典的BP算法，还有一些自动求导的方法，这些也只很重要的方面。
接着学习框架：
接着要开始学习深度学习的框架，如Google的Tedemo开始搭建模型，这对学习理论是有裨益的。
最后学习最新的paper：
作为一个迅猛发展的领域，最重要的是要开始跟进一些最新的paper，多学习一些新的模型及架构。下面我们来介绍CV中使用最多的CNN模型。
3 小结
还行，基本明确了学习方案。虽然感觉这篇公众号文章讲的不是很全，但是对初学者来说还算友好。