机器学习优化算法

机器学习优化算法

作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/

图来源：http://www.cs.virginia.edu/~hw5x/Course/RL2020-Fall/_site/static_files/ppt/policy-grad.pptx

1. 梯度下降法

2. 随机梯度下降法

3. 小批量梯度下降法

4. 参考文献

[1] 邱锡鹏, 神经网络与深度学习[M]. 2019.

[2] [Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD

[3] Ruder, Sebastian . "An overview of gradient descent optimization algorithms." (2016).