一起学西瓜书06 支持向量机(剩下部分)
软间隔
之前已经提到过它的概念了,对于一些异常点,我们需要容许他存在,也就是我们需要允许一些错误值的存在,就像下面图里面的红点这就引入了软间隔的概念,说的规范一点就是允许支持向量机在一些样本上不满足约束
0/1损失函数
我们加入了0/1损失函数,使得允许一些不满足约束的样本存在.但是这个函数还存在很多问题
替代损失
对于01函数存在的问题,我们引入了替代损失,如下
这是上面图中出现过的几种损失函数
为了方便书写，引入了“松弛变量” ，这个东西其实就是替代损失函数。那么在“软间隔”的前提下，优化目标为
优化目标加上约束条件，这就是“软间隔支持向量”的形式。 每个样本都有这么个对应的松弛变量，用以表示这个样本不满足约束条件的程度，换言之，就是说这个样本允许没分错的程度。剩下的关于这个目标函数的解法就是之前也介绍过的拉格朗日乘子法以及引入KKT条件
正则化
将“软间隔支持向量机”的形式替换来得到其他的学习模型。
机器学习中正则化项L1和L2的直观理解
机器学习中的正则化(Regularization)
支持向量回归
与传统的损失不同,支持向量回归运行存在一定的偏差,也就是说在这个偏差内的损失,我们认为是0
我们可以看到它的损失函数,只有在偏差之外才会计算
整个流程跟之前是差不多的