LASSO and RIDGE（未写完）

Least Absolute Shrinkage and Selection Operator

原理：LASSO是将L1惩罚和线性模型结合，并使用最小二乘代价函数。L1惩罚使部分分子集的权重为零，表明相应的特征可以被安全的忽略。

维数过多有如下问题：

1. 需要更多的样本，样本随着数据的维度的增加会显指数增长
2. 数据变得更稀疏，导致维度灾难
3. 在高维数据空间，预测将变得不再容易，而且消耗的时间与内存空间变大
4. 容易导致模型过拟合

LASSO如图

RIDGE如图：