前面我们对线性回归已经有了一个基本认识，接下来我们探讨正则化。
首先对于只有一个特征的n个样本。。我们用直线去拟合效果如下。
发现拟合效果不好。
如果我们用二次曲线去拟合发现效果很好
这里有一个问题，我们明明做的是线性回归这里怎么是曲线？其实很简单,在这里我们只是把一个特征变成了两个特征 。把低维映射到了高维就是线性的。（但是这里的特征并不是独立的）。
下面我们看看更高维的情况
发现出现了过拟合的现象。这也就引出了一个问题，我们该怎么控制这个维度呢？也就是特征的个数呢。对于这个问题其实我们只需要 这两个特征，而
是不需要的。那么我们如何解决？ 如果我们尽可能的降低
的权重，也就是让其系数
尽可能的小。最好趋近于零。这样不就解决了吗。
接下来我们尝试这样去做。我们在线性回归的损失函数后面加一个惩罚项。 如下
我们来探讨一下这个式子为什么会降低
的权重，但是对
的权重影响不大。
先看一个例子（来自https://blog.csdn.net/u012328159/article/details/51089365）
对于这种多项式特征，随着阶数的增加，其对应的系数也会变得非常大。所以对于我们如果要求他的最小值，那
惩罚项必定会让系数大的
变小。可想而知系数很大的特征，一般都是不正常的特征。所以惩罚项就会让其系数变小。相应的系数小的特征的变化就会很小。
这就是正则化的作用。
正则化函数的解法和线性回归解法一样直接求导为零即可
最后的结果为