损失函数正则化方法

正则化方法

为防止模型过拟合，提高模型的泛化能力，通常会在损失函数的后面添加一个正则化项。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓【惩罚】是指对损失函数中的某些参数做一些限制

L1正则化(ℓ1 -norm)

使用L1正则化的模型建叫做Lasso Regularization(Lasso回归),直接在原来的损失函数基础上加上权重参数的绝对值，$\eta$η为正则化参数：
假设损失函数为$\tag{1}J_0=\sum_{i=1}^{m}(y^{(i)}-\theta_0-\theta_1X_1^{(i)}-\theta_2X_2^{(i)}-\cdots-\theta_nX_n^{(i)})$J0​=i=1∑m​(y(i)−θ0​−θ1​X1(i)​−θ2​X2(i)​−⋯−θn​Xn(i)​)(1)则Lasso Regularization为：
$\tag{2}J=J_0+\eta \sum_{i=1}^{m}|\theta|$J=J0​+ηi=1∑m​∣θ∣(2)
$J$J 是带有绝对值符号的函数，因此$J$J是不完全可微的。当我们在原始损失函数$J_0$J0​后添加$L_1$L1​正则化项时，相当于对$J_0$J0​做了一个约束。令$L_1=\eta\sum_{i=1}^{m}|\theta|$L1​=η∑i=1m​∣θ∣，则$J=J_0+L_1$J=J0​+L1​，此时我们的任务变成在$L$L约束下求出$J$J取最小值的解。
$\eta$η 被称为正则化系数.

下面通过图像来说明如何在约束条件$L_1$L1​下求$J$J的最小值。

最终的损失函数就是求等高圆圈+黑色黑色矩形的和的最小值。由图可知等高圆圈+黑色黑色矩形首次相交时，$J$J取得最小值。
为什么$L_1$L1​正则化项能够防止过拟合的情况？
对损失函数的参数优化求解过程进行分析
$\tag{3}\frac{\partial C}{\partial \theta}=\frac{\partial C_0}{\partial \theta}+\lambda sgn(\theta)$∂θ∂C​=∂θ∂C0​​+λsgn(θ)(3)

上式中$sgn(\theta)$sgn(θ)表示$\theta$θ的符号。那么权重$\theta$θ的更新规则为:
$\tag{4}\theta \rightarrow \theta - \eta\sum_{i=1}^{m} \frac{\partial C_i}{\partial \theta}-\eta \lambda sgn(\theta)$θ→θ−ηi=1∑m​∂θ∂Ci​​−ηλsgn(θ)(4)

比原始的更新规则多出了$η λ sgn(\theta)$ηλsgn(θ)这一项。当$\theta$θ为正时，更新后的$\theta$θ变小。当$\theta$θ为负时，更新后的$\theta$θ变大——因此它的效果就是让$\eta$η往0靠，使网络中的权重尽可能为0，也就相当于减小了网络复杂度，防止过拟合。

L2正则化(ℓ2 -norm)

使用L2正则化的模型叫做Ridge Regularization（岭回归）,直接在原来的损失函数基础上加上权重参数的平方和：
令损失函数为$J_0$J0​，则Ridge Regularization为：
$\tag{5}J=J_0+\frac{1}{2}\eta \sum_{i=1}^{n}\theta^2$J=J0​+21​ηi=1∑n​θ2(5)
使最终的损失函数最小，要考虑$J_0$J0​和$\tag{6}L_2=\frac{1}{2}\eta \sum_{i=1}^{n} \theta^2$L2​=21​ηi=1∑n​θ2(6)两个因素，最终的损失函数就是求等高 圆圈+黑色圆圈的和的最小值。由图可知两个圆相交时，$J$J取得最小值。

为什么$L_2$L2​正则化项能够防止过拟合的情况？
对损失函数的参数优化求解过程进行分析
$\tag{7}\frac{\partial C}{\partial \theta}=\frac{\partial C_0}{\partial \theta}+\lambda \theta$∂θ∂C​=∂θ∂C0​​+λθ(7)

$\tag{8}\frac{\partial C}{\partial b}=\frac{\partial C}{\partial b}$∂b∂C​=∂b∂C​(8)
可以发现L2正则化项对b的更新没有影响，但是对于$\theta$θ的更新有影响:
$\theta \rightarrow \theta - \eta\sum_{i=1}^{m} \frac{\partial C_i}{\partial \theta}-\eta \lambda \theta$θ→θ−ηi=1∑m​∂θ∂Ci​​−ηλθ

$\tag{9}=(1-\eta \lambda )\theta - \eta \sum_{i=1}^{m}\frac{\partial C_i}{\partial \theta}$=(1−ηλ)θ−ηi=1∑m​∂θ∂Ci​​(9)

在不使用L2正则化时，求导结果中$\theta$θ前系数为1，现在$\theta$θ前面系数为 $1−ηλ$1−ηλ ，因为η、λ都是正的，所以 $1−ηλ$1−ηλ小于1，它的效果是减小$\theta$θ，这也就是权重衰减（weight decay）的由来。