线型模型理论基础

线性模型理论基础

• 1.一般线型回归
• 1.1 相性回归与最小二乘法
• 1.2 线型模型正则化
• 1.2.1 岭回归
• 1.2.2 Lasso 回归
• 1.2.3 ElasticNet回归
• 2.逻辑回归（对数几率回归）
• 3.线性判别分析
• 3.1二分类线性判别
• Reference

1.一般线型回归

1.1 相性回归与最小二乘法

在一些情况下，如样本矩阵X的列数多于行数，此时X^TX是不满秩的，对应的能够解出多个W，此时可以引入正则化项选择最优的W。

损失函数最小化可以使用 梯度下降法求解，在使用该方法时，一定要将特征值归一化。这一点是极为重要的，归一化的好处在于（1）提升了模型的收敛速度，减少求得最优解的时间。 （2）提升模型的精度，这一点在涉及到距离计算的算法时效果十分明显。

1.2 线型模型正则化

正则化的目的是降低模型的复杂度，常见的几种线性模型正则化有 岭回归、Lasso回归和ElasticNet回归，

其中，α是正则化系数，它控制正则化项的占比，这个值很关键。α的初始值建议设置为0，在确定了learning rate后再进一步确定α的值。首先粗调节（如每次增大或减少10倍）将预测准确率控制在一个较满意的水平后再进行α值的细调节（假设粗调节α确定在0.01到0.1之间，细调节则0.01, 0.02……如此细微调节）至预测最佳。目前，训练过程中使用梯度递减的学习率是一个很常见的方法。

1.2.1 岭回归

岭回归是在损失函数中加入L2范数惩罚项，控制模型复杂度，从而使模型稳健。

1.2.2 Lasso 回归

lasso回归和岭回归的区别在于惩罚项是基于L1范数。

1.2.3 ElasticNet回归

ElasticNet是对岭回归和Lasso回归的融合，在Elastic Net的公式中，参数ρ是Lasso回归在ElasticNet中的占比，1-ρ 则是岭回归在其中的占比。

2.逻辑回归（对数几率回归）

线性模型也同样能够使用在分类问题中，需要找一个单调可微的函数将线性模型的输出转化为分类的标记。

3.线性判别分析

线性判别分析的思想很简单，把数据集中所有的样本点投影到一条直线上，使得同类样本之间的投影点尽可能的接近，而异类样本的投影点尽可能地远离。大致原理如下图所示，

3.1二分类线性判别

转载请注明出处，欢迎点赞。

Reference

1. 线性回归原理小结
2. 《机器学习》，周志华著
3. 《Python大战机器学习》，王正林著