最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，最常用的就是最小二乘回归求解模型参数。
1 最小二乘的原理与要解决的问题
最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，发现的过程是非常艰难的。形式如下式：
观测值就是我们的多组样本，理论值就是我们的假设拟合函数。
目标函数也就是在机器学习中常说的损失函数.
我们的目标是得到使目标函数最小化时候的拟合函数的模型。
比如有m个只有一个特征的样本：
2 最小二乘法的代数法求解
3 最小二乘法的矩阵法解法
矩阵法比代数法要简洁，且矩阵运算可以取代循环，所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。这里用上面的多元线性回归例子来描述矩阵法解法。
4 最小二乘法的局限性和适用场景
从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代算法似乎方便很多，下面讨论最小二乘法的局限性。
第五，最小二乘考虑了所有噪声。。。
以上 ，重新学习了最小二乘法。