1. 梯度下降（Gradient Descent）小结
对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。沿着梯度向量的方向就是f(x,y)增加最快的地方，容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，梯度减少最快，也就是更加容易找到函数的最小值。
2. 最小二乘法小结
最小二乘法的形式为：$目标函数=\sum(难测值-理论值)^2$
3.线性回归总结
梯度下降法算线性回归：$\theta=\theta-\alpha\mathtt{X}^T(\mathtt{X}\theta-\mathtt{Y})$
最小二乘法算线性回归：$\theta=(\mathtt{X^TX})^{-1}\mathtt{X^TY}$