老吴--第二阶段第二周--优化算法

mini-batch

指数加权平均：取每天的温度

前一天的权重越大，曲线越往右移

当天的温度是前几天的权重衰减加和

指数加权平均的偏差修正

动量梯度下降方法比一般梯度下降方法都快

计算梯度的加权指数平均，并利用该梯度更新权重

加快学习曲线的横向速度，减小纵向变化范围

RMsprop