数学基础-核技巧

一、非线性分类问题

非线性分类问题指通过非线性模型才能很好的分类的问题，如下图所示，用直线无法将左图的两个类别分类，需要用椭圆，那么椭圆表示式为分类模型，该分类模型为非线性分类模型。将原空间X通过映射函数映射到Z空间，z=Φ(x)$z=\mathrm{\Phi }(x)$，通过一个非线性变换，将源空间映射到特征空间，特征空间的特征是线性可分的，在特征空间求解线性模型。

二、核技巧

核技巧的思想是只定义核函数K(x,y)=Φ(x)∗Φ(y)$K(x,y)=\mathrm{\Phi }(x)\ast \mathrm{\Phi }(y)$，而不显示的定义映射函数Φ(x)$\mathrm{\Phi }(x)$，因为直接计算K(x,y)$K(x,y)$ 较寻找映射函数容易，因为特征空间和映射函数并不唯一。

三、常用的核函数

1、多项核函数
K(x,y)=(x∗y+1)p$K(x,y)=(x\ast y+1{)}^p$
2、高斯核函数
K(x,y)=exp(−||x−y||22σ2)$K(x,y)=exp(-\frac{||x-y|{|}^2}{2{\sigma }^2})$
3、径向基核函数
K(x,y)=exp(−γ||x−y||2)$K(x,y)=exp(-\gamma ||x-y|{|}^2)$
4、sigmoid核函数
K(x,y)=tanh(η<xi,x>+θ)$K(x,y)=tanh(\eta <x{}_i,x>+\theta )$

四、核技巧的应用

1、非线性支持向量机（KSVM）
选择核函数，支持向量机的策略目标函数为

求解上述函数为求凸二次规划问题
决策函数为

2、核PCA（KPCA）

核PCA是在降维的过程中，将源数据进行映射，对变换过程中出现的Φ(x)∗Φ(y)$\mathrm{\Phi }(x)\ast \mathrm{\Phi }(y)$ 用K(x,y)$K(x,y)$ 替换。

写博客的目的是学习的总结和知识的共享，如有侵权，请与我联系，我将尽快处理
参考李航的《统计机器学习》