$(x^{i},y^{i})$ example
$h_{\theta}(x^{i})=$
损失函数
$J(\theta) = 1/2SUM(h(x_{\theta}^{i}))$
欠拟合和过拟合
一个线性模型 拟合房价曲线
$\theta_{0}+\theta_{1}x_{1}+......$ 多个项进行拟合
对房价曲线进行拟合
线性拟合 欠拟合 underfitting $\theta_{0} + \thata_{1}x_{1}$
二次拟合
多次项的拟合 过拟合 overfitting
参数学习算法参数学习算法是一类有固定数目，参数的用来进行数据拟合的算法，线性回归即是此类
非参数学习算法则是一类参数数目随数据集增大而变多（一般是线性增大）的算法：
局部加权算法(LOESS)
局部加权回归算法是对线性回归的扩展，当目标假设是线性模型时，使用线性回归自然能拟合的很
当我们在预测一个点的值时，我们选择和这个点相近的点而不是全部的点做线性回归。基于这个思
想，就有了局部加权回归算法
，w(i其中)是权值，它的作用在于根据要预测的点与数据集中的点的距离来
为数据集中的点赋权值，当某点距离待预测点较远时，其权重较小，否则较大。
一个较好的函数如下：
离得远的点贡献比较小 离得近的点贡献比较大 注意这和高斯分布没有关系
该函数被称为指数衰减函数。其中，\tao被称为波长参数，它控制了权值随距离下降的速度
局部加权回归 非参数学习算法 我们不考虑是否建模
怎么确定波长参数？尤其的重要.
如果数据集特别大 非参数算法 的复杂度非常高
线性回归的概率解释
接下来对线性回归的最小二乘法的合理性做了概率解释，即为什么选择平方函数作为目标函数会使得效果比较好？
假设1
误差项可以看作是随机噪声 忘了建模的参数
我假设误差项 服从 高斯分布 均值为0
那么假设二为何会成立呢？这是因
为影响误差的因素有很多，这些因素都是随机分布，根据中心极限定理（Central
Limit Thoery），即许多独立随机变量的和趋向于正态分布，我们可以得到假设二
误差为什么服从高斯分布 根据中心极限定理 通常是服从高斯分布
误差由许多效应组成
概率密度函数
加入参数项
这也表示，当给定参数