L1正则项极简例子

L1正则项极简例子

• 正则项动机
• 物理含义
• 例1 极端例子
• 例2 一般情况
• 进一步分析

正则项动机

优化目标：$\min J = J_0 + L = J(w) + \alpha |w|$minJ=J0​+L=J(w)+α∣w∣
其中，$J_0$J0​是指本身的最小化目标，它是关于$w$w函数；$L$L控制参数，避免过拟合。

物理含义

如图1所示，蓝色圆表示$J_0$J0​等值线（等高线），每往外多一个圈，其值就增加$\delta$δ；黑色棱型表示$L$L等值线，每往外多一层，其值就增加$\alpha$α. 二维平面上的每一点，对应的$J$J值就是蓝色等值线与黑色等值线之和。

例1 极端例子

图1. $J_0$J0​的最小值在45度上

如图1所示，所有蓝色圈的圆心都在45度方向。观察图中最外层蓝圈，在45度方向（$w_1 = w_2$w1​=w2​）上的切点，$J = 5 \delta + \alpha$J=5δ+α，而与$w1$w1轴交点上，$J = 5 \delta + 2 \alpha$J=5δ+2α. 从时可观察到，$J$J最小值应在45度方向上取得。

例2 一般情况

图2. 一般情况

如图2所示，蓝色圈的圆心没那么规律，而是偏向了$w2$w2轴。在第2层圆圈上，$J$J最小的值为$2 \delta + 5 \alpha$2δ+5α，对应的点在60度方向; 在第6层圆圈上，$J$J的最小值为$6 \delta + \alpha$6δ+α, 对应的点在$w2$w2轴上。

这两个图也说明了两个系数的重要性。图1中$w_1$w1​和$w_2$w2​同等重要，图2中$w_2$w2​更加重要，甚至在某些情况下可以把$w1$w1设置为0，即删除相应的属性。

进一步分析

1. $\alpha$α越大，使得$J$J最小的坐标点$(w_1, w_2)$(w1​,w2​)越靠近坐标原点；$\alpha$α越小，使得$J$J最小的坐标点越靠近最小的圆圈中心。
2. $J$J的最小值应在从坐标原点到最小的圆圈中心的一条路径上。图3描述了$J_0$J0​与$L$L的折中。
3. 如果是 $L_2$L2​正则化，则棱形换成圆圈，更容易在非坐标轴方向获得最小值。

图3. $J$J是$J_0$J0​与$L$L的折中, 横坐标对应于在该路径上从坐标原点到相应点的路程

参考文献
[1] https://blog.csdn.net/jinping_shi/article/details/52433975