优化算法个人学习笔记 Optimization algorithms
作者：arsoooo
1.1 Mini-batch 梯度下降（Mini-batch gradient descent）
向量化能够让你有效地对所有m个样本进行计算，允许你处理整个训练集，而无需某个明确的公式。
如果m很大的话，处理速度仍然缓慢。所以如果你在处理完整个500万个样本的训练集之前，先让梯度下降法处理一部分，你的算法速度会更快，你可以把训练集分割为小一点的子集训练，这些子集被取名为mini-batch。
1.2
Momentum或是RMSprop，Adam这样的算法，是能够加速学习算法，我暂时粗略看了一下，后面视情况更，如果有需要可以移步黄海广博士的笔记