机器学习9---线性回归、岭回归

线性回归

分类：目标值为离散型数据
回归：目标值为连续型数据

定义

线性模型试图学得一个通过属性（特征）的线性组合来进行预测的函数：

即，线性回归是通过一个或者多个自变量与因变量知间进行建模的回归分析。一元线性回归，涉及到的变量只有一个，多元线性回归，涉及到的变量两个或者两个以上。

损失函数（误差大小）

目的：寻找w，使得损失最小。

损失函数的两种优化方法

1. 正规方程（不做要求）
   
   缺点：当特征过于复杂，求解速度太慢；对于复杂的算法，不能使用正规方程求解。
   

2. 梯度下降
   
   
   

正规方程与梯度下降对比