1、什么是优化器？
pytorch的优化器：管理并更新模型中可学习的参数的值，使得模型输出更接近真实标签
导数：
方向导数
梯度
2、optimizer的属性
defaults：优化器超参数
state：参数的缓存，如momentum的缓存
params_groups：管理的参数组
_step_count：记录更新次数，学习率调整中使用
3、optimizer的方法
zero_grad()：清空所管理参数的梯度 【Pytorch特性：张量梯度不自动清零】
step()：执行一步更新
add_param_group()：添加参数组
state_dict（）：获取优化器当前状态信息字典
load_state_dict():加载状态信息字典
4、learning rate学习率
5、momentum动量
6、torch.optim.SGD
主要参数：
- params：管理的参数组
- lr：初始学习率
- momentum：动量系数，贝塔
- weight_decay：L2正则化系数
- nesterov：是否采用NAG
7、Pytorch的十种优化器
optimer.SGD：随机梯度下降法
optimer.Adagrad：自适应学习率梯度下降法
optimer.RMSprop：Adagrad的改进
optimer.Adadelta：Adagrad的改进
optimer.Adam：RMSprop结合Momentum
optimer.Adamax：Adam增加学习率上限
optimer.SparseAdam：稀疏版的Adam
optimer.ASGD：随机平均梯度下降
optimer.Rprop：弹性反向传播
optimer.LBFGS：BFGS的改进
区别！！