线性回归（最小二乘法）
一维模型：对于直角坐标系中一系列样本点（x,y），找到合适的a,b，使得f(x)=ax+b成立，并且f(x)～=y。实际上，线性回归的过程就是寻找a,b的过程，而判定最优解的方法就是寻找误差最小值，即： 。arg min是机器学习术语，表示让arg成立的min的值。
根据矩阵求导相关知识求出一维模型的解： 。
多维模型：对于一系列样本点（x，y）, 找到合适的a,b，使得f(x)=ax+b成立，并且f(x)～=y。不同的是，这里的x,y,a都是向量。实际上，。
解：令 w=(a,b)
因此，误差值为： ，这里采用L2范数来衡量大小。对其进行求导，求梯度 向量等于零，可以得到
。
岭回归
但线性回归存在一个问题：若A*(A^T)不可逆，则上述w不可求。理论上，可以采用伪逆，但误差较大（具体原因不了解），因此通常采用岭回归。
即对于估计值y，在线性回归中，有 ,而在岭回归中,对它进行处理,即：
。这样就避免了不可求逆的问题。、
然后还要用SVD对A做处理，来计算岭回归， ，然后经过一系列巧妙的计算（实在能力不够，没法自己解决）可以得到岭回归结果：
。
Logistic回归
这部分内容不理解，贴上课件，等到具体学到再展开。