支持向量机的RBF核

Question

非线性内核允许 SVM 在高维空间中线性地分离非线性数据。 RBF 内核可能是最流行的非线性内核。

有人告诉我，RBF 内核是高斯的，因此是无限微分的。有了这个属性，RBF 内核可以将数据从低维空间映射到无限维空间。我有两个问题：

1) 谁能解释一下为什么映射后的特征空间数量对应于内核的导数？我不清楚这部分。 2）有很多非线性核，比如多项式核，我相信它们也能够将数据从低维空间映射到无限维空间。但是为什么 RBF 内核比他们更受欢迎呢？

提前感谢您的帮助。

Answer 1

1) 谁能解释一下为什么映射后特征空间的数量 是对应内核的导数吗？我不清楚 这部分。

它与可微分无关，线性内核也是无限可微的，并且不会映射到任何更高维空间，无论谁告诉你这是原因 - 撒谎或不了解其背后的数学。无限维度来自映射

phi(x) = Nor(x, sigma^2)

换句话说，您将您的点映射到 函数 是一个高斯分布，它是 L^2 空间的一个元素，连续函数的无限维空间，其中标量积定义为积分函数的乘法，所以

<f,g> = int f(a)g(a) da

因此

<phi(x),phi(y)> = int Nor(x,sigma^2)(a)Nor(y,sigma^2)(a) da 
                = X exp(-(x-y)^2 / (4sigma^2) )

对于一些标准化常量X（这完全不重要）。换句话说，高斯核是两个函数之间的标量积，具有无限维。

2) 非线性核有很多，比如多项式核，我 相信他们也能够从低维映射数据 空间到无限维空间。但是为什么 RBF 内核更 那么他们受欢迎吗？

多项式核映射到具有O(d^p) 维度的特征空间，其中d 是输入空间维度，p 是多项式次数，因此它远非无限。为什么高斯受欢迎？因为它有效，并且非常易于使用且计算速度很快。从理论的角度来看，它还可以保证学习任意一组点（使用足够小的方差）。