这篇是西瓜书第五章的公式推导笔记,主要在于对公式推导过程说明的笔记,但是博客标注转载需要原文链接,我没有啊,所以写了原创,愧疚。

BP梯度下降公式推导笔记

 BP梯度下降公式推导笔记

BP梯度下降公式推导笔记

 BP梯度下降公式推导笔记

BP梯度下降公式推导笔记 BP梯度下降公式推导笔记

下面开始是推导过程的近一步的解释。

首先:BP算法的梯度下降(gradient descent)是梯度的反方向,所以有个负号。 

先看BP梯度下降公式推导笔记

 η是学习率,后面是偏导数,再乘以-1(梯度反方向嘛)

根据链式法则,求偏导一个一个分解过程,所以这个链式法则应该都能看懂了。

BP梯度下降公式推导笔记

过程如下:

BP梯度下降公式推导笔记

类似可得,这个真的类似:

BP梯度下降公式推导笔记

 

BP梯度下降公式推导笔记

相关文章:

  • 2021-09-11
  • 2022-12-23
  • 2021-04-30
  • 2021-12-21
  • 2021-06-12
  • 2021-10-19
  • 2021-06-23
  • 2021-08-22
猜你喜欢
  • 2021-08-19
  • 2022-12-23
  • 2021-10-03
  • 2022-01-18
  • 2021-08-05
  • 2022-01-21
  • 2021-11-27
相关资源
相似解决方案