梯度：上升 指向标量场增长最快的方向
梯度下降：下降的 指向标量场下降最快的方向
机器学习：
一个目标函数求解
一步步迭代（线性回归只是个特例，可以直接求解）
为什么不快速迭代：
一小步一小步，走快了容易跌倒：陷入一个极小值点出不来了，全局上看并不是最小值点
学习率（步长）太快：容易出错
选择：小学习率，大迭代次数
3种梯度下降的方法：
1.批量梯度下降：全部样本：费事，收敛
2.随机梯度下降：一个样本：离群点、异常点，不一定收敛
3.小批量梯度下降：一部分样本：16 64 128 最实用
相关文章：