深度学习2.0-16.随机梯度下降之反向传播算法推导

文章目录

• • • 1.**函数及其梯度
    • • 1.sigmoid/Logistic
      • 2.Tanh-在RNN中使用较多
      • 3.relu-Rectified Linear Unit(整型的线性单元)
    • 2.损失函数及其梯度
    • • 1.MSE-Mean Squared Error
      • 2.Cross Entropy Loss
      • • softmax
    • 3.单输出感知机及其梯度
    • 4.多输出感知机以及梯度
    • 5.链式法则
    • 6.多层感知机梯度（反向传播算法）

1.**函数及其梯度

1.sigmoid/Logistic

容易出现梯度离散，权值长时间保持不变，未能更新

2.Tanh-在RNN中使用较多

3.relu-Rectified Linear Unit(整型的线性单元)

2.损失函数及其梯度

1.MSE-Mean Squared Error

2.Cross Entropy Loss

softmax

3.单输出感知机及其梯度

4.多输出感知机以及梯度

5.链式法则

6.多层感知机梯度（反向传播算法）