支持向量机（SVM）和python实现（二）

4. 松弛向量与软间隔

前面讨论的情况都是样本分布都可以被超平面完美分割的情况，但是在现实任务中，经常会有难以完美划分的情况，就算正好完美划分了样本点，也很难判断这个结果是不是过拟合造成的。

（图来自https://blog.csdn.net/zouxy09/article/details/17291543）
上左图中如果我们要考虑点A，得到的超平面就是红线那样，上右图中若是要考虑在class2中的红点，得到的超平面就是蓝线那样，如此精确的划分每个点很容易导致模型过拟合，为了缓解这个问题，我们引入软间隔的概念，软间隔允许某些样本不满足约束：

yi(ωTxi+b)≥1(4.1)$$\begin{array}{}\text{(4.1)}& y_i({\omega }^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1\end{array}$$

于是我们修改了优化目标：

min.12∥ω∥2+C∑i=1ml0/1(yi(ωTxi+b)−1)(4.2)$$\begin{array}{}\text{(4.2)}& min.\frac{1}{2}{\Vert \omega \Vert }^2+C\sum _{i=1}^m{l}_{0/1}(y_i({\omega }^T{\mathbf{x}}_{\mathbf{i}}+b)-1)\end{array}$$

其中C>0是一个常数，l0/1(z)$l_{0/1}(z)$是“0/1损失函数”

l0/1(z)={1,0,if z<0otherwise$$l_{0/1}(z)=\{\begin{array}{cc}1,& ifz<0\\ 0,& otherwise\end{array}$$

当C无穷大时，式(4.2)后面的部分迫使所有样本均满足式(4.1)的约束条件，式(4.2)则等价于(1.2)，也就是说C越大，拟合非线性的能力越强，同时过拟合的风险也越高。引入l0/1(z)$l_{0/1}(z)$的目的是，我们只希望那些不满足(4.1)约束条件的点被算入优化目标中，但是l0/1(z)$l_{0/1(z)}$非凸，非连续，导致这样的目标函数不容易求解，我们可以使用近似的曲线替代，常用的损失函数为hinge函数：

lhinge(z)=max(0,1−z)$$l_{hinge}(z)=max(0,1-z)$$

若采用hinge损失函数，则式(4.2)变成了：

min.12∥ω∥2+C∑i=1mmax(0,1−yi(ωTxi+b))(4.3)$$\begin{array}{}\text{(4.3)}& min.\frac{1}{2}{\Vert \omega \Vert }^2+C\sum _{i=1}^{m}max(0,1-y_i({\omega }^T{\mathbf{x}}_{\mathbf{i}}+b))\end{array}$$

引入松弛变量ξi≥0${\xi }_i\ge 0$后，原来的约束条件就变为：

{yi(ωTxi+b)≥1−ξiξi≥0(4.4)$$\begin{array}{}\text{(4.4)}& \{\begin{array}{c}{y}_i({\omega }^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0\end{array}\end{array}$$

同时式(4.3)也可以改写为

min.12∥ω∥2+C∑i=1mξi(4.5)$$\begin{array}{}\text{(4.5)}& min.\frac{1}{2}{\Vert \omega \Vert }^2+C\sum _{i=1}^m{\xi }_i\end{array}$$

我们重新引入拉格朗日乘子αi≥0    i=1,2,...,m${\alpha }_i\ge 0i=1,2,...,m$，可得：

L(ω,b,α,ξ,β)=12∥ω∥2+C∑i=1mξi+∑i=1mαi(1−ξi+yi(ωTφ(xi)+b))−∑i=1mβiξi$$L(\omega ,b,\alpha \mathbf{,}\xi \mathbf{,}\beta )=\frac{1}{2}{\Vert \omega \Vert }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-{\xi }_i+y_i({\omega }^T\phi ({\mathbf{x}}_{\mathbf{i}})+b))-\sum _{i=1}^m{\beta }_i{\xi }_i$$

对ω,b,ξi$\omega ,b,{\xi }_i$分别求偏导，得：

⎧⎩⎨⎪⎪ω=∑mi=1αiyiφ(xi)0=∑mi=1αiyiC=αi+βi$$\{\begin{array}{c}\omega =\sum _{i=1}^m{\alpha }_i{y}_i\phi ({\mathbf{x}}_{\mathbf{i}})\\ 0=\sum _{i=1}^m{\alpha }_i{y}_i\\ C={\alpha }_i+{\beta }_i\end{array}$$

将结果带入原式得对偶问题：

max.∑i=1mαi−12∑i=1,y=1mαiαjyiyjκ(xi,xj)s.t.  ∑i=1mαiyi=0     0≤αi≤C(4.6)$$\begin{gathered} \begin{array}{}\text{(4.6)}& max.\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,y=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_{\mathbf{i}}\mathbf{,}{\mathbf{x}}_{\mathbf{j}}) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=00\le {\alpha }_i\le C\end{array} \end{gathered}$$

和前面说的KKT条件类似，这个对偶问题同样需要满足以下KKT条件：

⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪αi≥0yif(xi)−1+ξi≥0αi(yif(xi)−1+ξi)=0ξi≥0βi≥0βiξi=0(4.7)$$\begin{array}{}\text{(4.7)}& \{\begin{array}{cc}{\alpha }_i\ge 0& {\beta }_i\ge 0\\ y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i\ge 0& \\ {\alpha }_i(y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i)=0& \\ {\xi }_i\ge 0& {\beta }_i{\xi }_i=0\end{array}\end{array}$$

5. SMO算法

SMO(Sequential Minimal Optimization)被用来求解SVM问题，该算法的思想是先固定αi${\alpha }_i$以外的参数，然后求αi${\alpha }_i$上的极值，由于存在(4.6)中的约束，我们可以先固定2个变量αi${\alpha }_i$和αj${\alpha }_j$,然后利用约束条件∑mi=1αiyi=0$\sum _{i=1}^m{\alpha }_i{y}_i=0$可以用αi${\alpha }_i$代表αj${\alpha }_j$，然后更新αi${\alpha }_i$和αj${\alpha }_j$，再重新选择2个参数，直到收敛。
注意到只需选取的αi${\alpha }_i$和αj${\alpha }_j$中有一个不满足KKT(4.7)条件，目标函数(4.6)就会在迭代后变大，因此我们要根据KKT条件来选择要更新的αi${\alpha }_i$和αj${\alpha }_j$，下面我们分析一下如何选取：

• 当αi=0${\alpha }_i=0$时，βi=C${\beta }_i=C$,则ξi=0${\xi }_i=0$，得yif(xi)≥1$y_{i}f({\mathbf{x}}_{\mathbf{i}})\ge 1$
• 当αi=C${\alpha }_i=C$时，βi=0${\beta }_i=0$,则ξi≥0${\xi }_i\ge 0$，且yif(xi)−1+ξi=0$y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i=0$，得yif(xi)≤1$y_{i}f({\mathbf{x}}_{\mathbf{i}})\le 1$
• 当0<αi<C$0<{\alpha }_i<C$时，0<βi<C$0<\beta i<C$,则ξi=0${\xi }_i=0$，且yif(xi)−1+ξi=0$y_{i}f({\mathbf{x}}_{\mathbf{i}})-1+{\xi }_i=0$，得yif(xi)=1$y_{i}f({\mathbf{x}}_{\mathbf{i}})=1$

我们在编程时只需要选择的αi${\alpha }_i$对应的yi,xi$y_i,x_i$违背上面的约束就可以让目标函数变大。

假如我们根据违背KKT条件选择了α1,α2${\alpha }_1,{\alpha }_2$,则：

y1α1+y2α2=NN=−∑i≠1,2myiαi(5.1)$$\begin{gathered} \begin{array}{}\text{(5.1)}& y_1{\alpha }_1+y_2{\alpha }_2=N \\ N=-\sum _{i\ne 1,2}^m{y}_i{\alpha }_i\end{array} \end{gathered}$$

因为yiyi=1$y_i{y}_i=1$,则有：

α1=Ny1−y1y2α2(5.2)$$\begin{array}{}\text{(5.2)}& {\alpha }_1=N{y}_1-y_1{y}_2{\alpha }_2\end{array}$$

将αi${\alpha }_i$和αj${\alpha }_j$代入式(4.6)，得：

W(α1,α2)=α1+α2−12α21y21κ11−12α22y22κ22−∑i=3mα1αiy1yiκ(1,i)−∑i=3mα2αiy2yiκ(2,i)+C(5.3)$$\begin{array}{}\text{(5.3)}& W({\alpha }_1,{\alpha }_2)={\alpha }_1+{\alpha }_2-\frac{1}{2}{\alpha }_1^2{y}_1^2{\kappa }_{11}-\frac{1}{2}{\alpha }_2^2{y}_2^2{\kappa }_{22}-\sum _{i=3}^m{\alpha }_1{\alpha }_i{y}_1{y}_i\kappa (1,i)-\sum _{i=3}^m{\alpha }_2{\alpha }_i{y}_2{y}_i\kappa (2,i)+C\end{array}$$

C为一些常数的和
我们令v1=∑mi=3α1αiy1yiκ(1,i)$v_1=\sum _{i=3}^m{\alpha }_1{\alpha }_i{y}_1{y}_i\kappa (1,i)$,v2=∑mi=3α2αiy2yiκ(2,i)$v_2=\sum _{i=3}^m{\alpha }_2{\alpha }_i{y}_2{y}_i\kappa (2,i)$,则式(5.3)改为：

W(α1,α2)=α1+α2−12α21y21κ11−12α22y22κ22−α1y1v1−α2y2v2+C$$W({\alpha }_1,{\alpha }_2)={\alpha }_1+{\alpha }_2-\frac{1}{2}{\alpha }_1^2{y}_1^2{\kappa }_{11}-\frac{1}{2}{\alpha }_2^2{y}_2^2{\kappa }_{22}-{\alpha }_1{y}_1{v}_1-{\alpha }_2{y}_2{v}_2+C$$

代入式(5.2)得

W(α2)=−12y21(Ny1−y1y2α2)2κ1,1−12α22y22κ2,2−(Ny1−y1y2α2)α2y1y2κ1,2−(Ny1−y1y2α2)y1v1−α2y2v2+α1+α2+C=−12(N−y2α2)2κ1,2−12α22κ1,2−(y2Nα2−α22)κ1,2−(N−y2α2)v1−α2y2v2+Ny1−y1y2α2+α2+C(5.4)$$\begin{gathered} \begin{array}{}\text{(5.4)}& W({\alpha }_2)=-\frac{1}{2}{y}_1^2(N{y}_1-y_1{y}_2{\alpha }_2{)}^2{\kappa }_{1,1}-\frac{1}{2}{\alpha }_2^2{y}_2^2{\kappa }_{2,2}-(N{y}_1-y_1{y}_2{\alpha }_2){\alpha }_2{y}_1{y}_2{\kappa }_{1,2}-(N{y}_1-y_1{y}_2{\alpha }_2)y_1{v}_1-{\alpha }_2{y}_2{v}_2+{\alpha }_1+{\alpha }_2+C \\ =-\frac{1}{2}(N-y_2{\alpha }_2{)}^2{\kappa }_{1,2}-\frac{1}{2}{\alpha }_2^2{\kappa }_{1,2}-(y_{2}N{\alpha }_2-{\alpha }_2^2){\kappa }_{1,2}-(N-y_2{\alpha }_2)v_1-{\alpha }_2{y}_2{v}_2+N{y}_1-y_1{y}_2{\alpha }_2+{\alpha }_2+C\end{array} \end{gathered}$$

对(5.4)求导得0：

∂W(α2)∂α2=Ny2κ1,1−α2κ1,1−α2k2,2−y2Nκ1,2+2α2κ1,2+y2v1−y2v2−y1y2+1=−(κ1,1+κ2,2−2κ1,2)α2+κ1,1Ny2−κ1,2Ny2+v1y2−v2y2−y1y2+1=0(5.5)$$\begin{gathered} \begin{array}{}\text{(5.5)}& \frac{\mathrm{\partial }W({\alpha }_2)}{\mathrm{\partial }{\alpha }_2}=N{y}_2{\kappa }_{1,1}-{\alpha }_2{\kappa }_{1,1}-{\alpha }_2{k}_{2,2}-y_{2}N{\kappa }_{1,2}+2{\alpha }_2{\kappa }_{1,2}+y_2{v}_1-y_2{v}_2-y_1{y}_2+1 \\ =-({\kappa }_{1,1}+{\kappa }_{2,2}-2{\kappa }_{1,2}){\alpha }_2+{\kappa }_{1,1}N{y}_2-{\kappa }_{1,2}N{y}_2+v_1{y}_2-v_2{y}_2-y_1{y}_2+1=0\end{array} \end{gathered}$$

由于f(x)=∑mi=1αiyiκ(xi,x)+b$f(x)=\sum _{i=1}^m{\alpha }_i{y}_i\kappa (x_i,x)+b$，则有：

v1=∑i=3mαiyiκi,1=f(x1)−αold1y1κ1,1−αold2y2κ1,2−bv2=f(x2)−αold1y1κ1,2−αold2y2κ2,2−b$$\begin{gathered} v_1=\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{i,1}=f(x_1)-{\alpha }_1^{old}{y}_1{\kappa }_{1,1}-{\alpha }_2^{old}{y}_2{\kappa }_{1,2}-b \\ {v}_2=f(x_2)-{\alpha }_1^{old}{y}_1{\kappa }_{1,2}-{\alpha }_2^{old}{y}_2{\kappa }_{2,2}-b \end{gathered}$$

又因为αold1=(N−αold2y2)y1${\alpha }_1^{old}=(N-{\alpha }_2^{old}{y}_2)y_1$,则：

v1−v2=f(x1)−f(x2)−κ1,1N+κ1,2N+(κ1,1+κ2,2−2κ1,2)αold2y2$$v_1-v_2=f(x_1)-f(x_2)-{\kappa }_{1,1}N+{\kappa }_{1,2}N+({\kappa }_{1,1}+{\kappa }_{2,2}-2{\kappa }_{1,2}){\alpha }_2^{old}{y}_2$$

代入(5.5)：

∂W(α2)∂α2=−(κ1,1+κ2,2−2κ1,2)αnew2+(κ1,1+κ2,2−2κ1,2)αold2+y2(y2−y1+f(x1)−f(x2))(5.6)$$\begin{array}{}\text{(5.6)}& \frac{\mathrm{\partial }W({\alpha }_2)}{\mathrm{\partial }{\alpha }_2}=-({\kappa }_{1,1}+{\kappa }_{2,2}-2{\kappa }_{1,2}){\alpha }_2^{new}+({\kappa }_{1,1}+{\kappa }_{2,2}-2{\kappa }_{1,2}){\alpha }_2^{old}+y_2(y_2-y_1+f(x_1)-f(x_2))\end{array}$$

令η=κ1,1+κ2,2−2κ1,2$\eta ={\kappa }_{1,1}+{\kappa }_{2,2}-2{\kappa }_{1,2}$，E=f(x)−y$E=f(x)-y$，则：

∂W(α2)∂α2=−ηαnew2+ηαold2+y2(E2−E1)=0$$\frac{\mathrm{\partial }W({\alpha }_2)}{\mathrm{\partial }{\alpha }_2}=-\eta {\alpha }_2^{new}+\eta {\alpha }_2^{old}+y_2(E_2-E_1)=0$$

αnew2=αold2+y2(E1−E2)η(5.7)$$\begin{array}{}\text{(5.7)}& {\alpha }_2^{new}={\alpha }_2^{old}+\frac{y_2(E_1-E_2)}{\eta }\end{array}$$

这样我们就获得了新的α2${\alpha }_2$值，但是不要忘记，α$\alpha$是存在约束的：0≤α≤C$0\le \alpha \le C$

（图来自https://blog.csdn.net/u011734144/article/details/81233553）
当y1≠y2$y_1\ne y_2$时α2${\alpha }_2$的上下界为：

• 下界：L=max(0,αold2−αold1)$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})$
• 上界：H=min(C,C+αold2−αold1)$H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$

当y1=y2$y_1=y_2$时α2${\alpha }_2$的上下界为：

• 下界：L=max(0,αold1+αold2−C)$L=max(0,{\alpha }_1^{old}+{\alpha }_2^{old}-C)$
• 上界：H=max(C,αold1+αold2)$H=max(C,{\alpha }_1^{old}+{\alpha }_2^{old})$
  这样我们就能获得约束后的αnew2${\alpha }_2^{new}$
  
  αnew/constraint2=⎧⎩⎨⎪⎪Hαnew2Lαnew2>HL≤αnew2≤Hαnew2<L$${\alpha }_2^{new/constraint}=\{\begin{array}{cc}H& {\alpha }_2^{new}>H\\ {\alpha }_2^{new}& L\le {\alpha }_2^{new}\le H\\ L& {\alpha }_2^{new}<L\end{array}$$
  
  然后我们就可以根据αold1y1+αold2y2=αnew1y1+αnew2y2${\alpha }_1^{old}{y}_1+{\alpha }_2^{old}{y}_2={\alpha }_1^{new}{y}_1+{\alpha }_2^{new}{y}_2$计算αnew1${\alpha }_1^{new}$了：
  
  αnew1=alphaold1+y1y2(alphaold2−alphanew2)$${\alpha }_1^{new}=alph{a}_1^{old}+y_1{y}_2(alph{a}_2^{old}-alph{a}_2^{new})$$
  
  现在我们获取了新的αnew1,αnew2${\alpha }_1^{new},{\alpha }_2^{new}$,那么就可以更新b了，而我们只能根据yi(ωTxi+b)=1$y_i({\omega }^T{x}_i+b)=1$来求b,这个等式成立的条件为xi$x_i$是支持向量，即0<αi<C$0<{\alpha }_i<C$，将αnew1${\alpha }_1^{new}$代入上面的等式，两边同时乘以y1$y_1$，有：
  
  ∑i=1mαiyiκi,1+b=y1$$\sum _{i=1}^m{\alpha }_i{y}_i{\kappa }_{i,1}+b=y_1$$
  
  则b的值为：
  
  bnew1=y1−∑i=3mαiyiκi,1−αnew1y1κ1,1−αnew2y2κ1,2$$b_1^{new}=y_1-\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{i,1}-{\alpha }_1^{new}{y}_1{\kappa }_{1,1}-{\alpha }_2^{new}{y}_2{\kappa }_{1,2}$$
  
  其中等式后面前两部分可以表示为：
  
  y1−∑i=3mαiyiκi,1=−E1+αold1y1κ1,1+αold2y2κ1,2+bold$$y_1-\sum _{i=3}^m{\alpha }_i{y}_i{\kappa }_{i,1}=-E_1+{\alpha }_1^{old}{y}_1{\kappa }_{1,1}+{\alpha }_2^{old}{y}_2{\kappa }_{1,2}+b^{old}$$
  
  那么最终bnew1$b_1^{new}$可以表示为：
  
  bnew1=bold−E1−y1κ1,1(αnew1−αold1)−y2κ1,2(αnew2−αold2)$$b_1^{new}=b^{old}-E_1-y_1{\kappa }_{1,1}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{\kappa }_{1,2}({\alpha }_2^{new}-{\alpha }_2^{old})$$
  
  同理bnew2$b_2^{new}$可以表示为
  
  bnew2=bold−E2−y1κ1,2(αnew1−αold1)−y2κ2,2(αnew2−αold2)$$b_2^{new}=b^{old}-E_2-y_1{\kappa }_{1,2}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{\kappa }_{2,2}({\alpha }_2^{new}-{\alpha }_2^{old})$$
  
  当b1$b_1$和b2$b_2$都有效时他们是相等的，即bnew1=bnew2=bnew$b_1^{new}=b_2^{new}=b_{new}$,当αnew1,2=0${\alpha }_{1,2}^{new}=0$或C时SMO选择他们的中点作为新的阈值：
  
  bnew=bnew1+bnew22$$b_{new}=\frac{b_1^{new}+b_2^{new}}{2}$$

传送门

支持向量机（SVM）和python实现（一）https://blog.csdn.net/z962013489/article/details/82499063
支持向量机（SVM）和python实现（三）https://blog.csdn.net/z962013489/article/details/82622036