前情提要
由逻辑回归算法我们引出了深度学习，请参考https://blog.csdn.net/weixin_42744909/article/details/108954890
深度学习
深度学习的历史
Three Steps for Deep Learning深度学习三步骤
step1：Neural Network
概念
深度学习网络分为输入层，隐藏层和输出层
Deep的概念
Deep = Many hidden layers，deep就是说隐藏层有很多层
神经网络的运算
一个神经元
多个神经元
一个神经元的输出是下一个神经元的输入
输出层
输出层需要特征提取，逻辑回归中提到，多层次分类中提到输出前需要使用SoftMax函数进行强化差异
softmax
实例：
识别手写数字：有颜色的为1，没有颜色的为0
需要考虑的问题：
1.神经网络有多少层，每层有多少个神经元？
试验+评估error+直觉
2.神经结构可以自动确认吗？
可以，进化人工神经网络
3.我们可以设计网络结构吗？
可以，例如以存在的神经网络结构CNN（卷积神经网络）
Step 2: goodness of function
一个输入loss：
多个输入loss：
在函数集中找到一个能使总损失L最小化的函数，进而找到找到减少Loss的网络参数(w,b)
Step 3: pick the best function选择最优的函数
梯度下降法
但是神经元比较大多的时候，偏微分非常难求
Backpropagation
使用Backpropagation反向传播来求解偏微分
后续会详细讲解