核函数的理解

问题的提出

一些分类问题，如果对于一些原理上就有缺陷的分类器（对，没错，就是以样本为线性可分为基础所提出的理论推导的分类器）来说，如果样本是线性不可分，那么就麻烦了。原本的理论就不适用了。但是，人们想出了一个办法，把这个问题转化的很巧妙。

人们想，是不是可以将原始空间中的点映射到一个更高维度的特征空间上去，使得样本在这个特征空间内线性可分呢？答案是可以的。貌似已经证明了如果原始空间是有限维度的，即属性是有限的，那么一定存在一个高维特征空间使得样本可分。为了更好的理解，可以看看下面这张图：

问题的解决

既然要将原始空间的点映射到高维的空间，那我们需要准备一个映射函数，姑且将整个函数名字命名为ϕ(x)，整个函数表示将x映射到高维空间后的特征向量。

此时我们如果想要得到高维空间中点的内积，我们很容易会写出像下面这样的公式：

ϕ(xi)Tϕ(xj)

其中，xi和xj分别是原始空间中的点。由于将原始空间中的点映射之后维度会扩大，所以实际计算这样的内积的时候其实是很困难的。那么我们为了避开这样的障碍，可以设想这样一个函数：

κ(xi,xj)=⟨ϕ(xi),ϕ(xj)⟩=ϕ(xi)Tϕ(xj)

这样我们就可以通过xi和xj在原始特征空间中的某种运算之后就可以得到高维空间中向量内记得结果。这个运算可以写为κ(⋅,⋅)，这个函数的名字就是核函数。

核函数的定理

定理：核函数 令 X 为输入空间，κ(⋅,⋅) 是定义在 X×X 上的对称函数，则 κ 是核函数当且仅当对于任意输入 D=x1,x2,…,xm，核矩阵 K 总是半正定的。

事实上，对于一个半正定核函数，总能找到一个与之对应的映射 ϕ。任何一个核函数都隐式的定义了一个称为“再生核希特波特空间”（Reproducing Kernel Hilbert Space）的特征空间。

关于希尔伯特空间的定义，其实非常有意思，曾经看过上海交大的函数空间公开课，里面讲的很不错。所有的概念都是由距离引出来的。而各种空间都是在距离的概念上加限制条件。如何理解加限制条件呢。老师举了一个很有意思的例子。水果本身是一种定义，它具有某种属性。这是一个很广泛的基础概念。然而我们怎么定义热带水果呢？是不是在本身水果的属性或者定义的基础上，加上某些限制，例如生长在热带，才能完成热带水果的定义呢。希尔伯特空间由内积空间加完备性引出的。完备性指的是空间中的极限运算不能跑出该空间。例如你通过一个运算算出了一个不属于该空间的数，这就不属于完备性。而内积空间是由线性赋范空间（很拗口…但是就是这么叫的…）加内积运算引出的。具体的可以看看这篇文章，说的很详细

参考

名称	表达式	参数
线性核	κ((x)i,(x)j)=xTixj
多项式核	κ((x)i,(x)j)=(xTixj)d	d≥1为多项式的次数
高斯核	κ((x)i,(x)j)=exp(−∥∥xi−xj∥∥22σ2)	σ>0为高斯核的带宽
拉普拉斯核	κ((x)i,(x)j)=exp(−∥∥xi−xj∥∥σ)	σ>0
Sigmoid核	κ((x)i,(x)j)=tanh(βxTixj+θ)	tanh为双曲线正切函数，β>0,θ<0