SVM 的自定义内核，何时应用它们？

Question

我是机器学习领域的新手，现在正试图了解最常见的学习算法是如何工作的，并了解何时应用它们。目前我正在学习支持向量机的工作原理，并对自定义内核函数有疑问。
网络上有大量关于 SVM 的标准（线性、RBF、多项式）内核的信息。但是，我想了解何时使用自定义内核函数是合理的。我的问题是：

1) SVM 还有哪些其他可能的内核？
2) 在什么情况下会应用自定义内核？
3) 自定义内核能否显着提高 SVM 的预测质量？

Answer 1

1) SVM 还有哪些其他可能的内核？

其中有无数个，例如在 pykernels 中实现的列表（这远非详尽）

https://github.com/gmum/pykernels

• 线性
• 多项式
• RBF
• 余弦相似度
• 指数型
• 拉普拉斯算子
• 有理二次方
• 逆多重次元
• 柯西
• T-学生
• 方差分析
• 添加剂Chi^2
• 智^2
• 最小最大
• 最小/直方图交点
• 广义直方图交集
• 样条线
• 索伦森
• 谷本
• 小波
• 傅里叶
• 日志 (CPD)
• 电源 (CPD)

2) 在什么情况下会应用自定义内核？

基本上分两种情况：

• “简单”的结果非常糟糕
• 数据在某种意义上是特定的，因此——为了应用传统内核，必须对其进行退化。例如，如果您的数据是图形格式，则不能应用 RBF 内核，因为图形不是一个恒定大小的向量，因此您需要一个图形内核来处理该对象，而不需要某种信息丢失投影。有时您还可以深入了解数据，了解一些底层结构，这可能有助于分类器。一个这样的例子是周期性，你知道你的数据中有一种重复效应 - 那么它可能值得寻找一个特定的内核等。

3) 自定义内核能否显着提高 SVM 的预测质量？

是的，特别是总是存在一个（假设的）贝叶斯最优核，定义为：

K(x, y) = 1 iff arg max_l P(l|x) == arg max_l P(l|y)

换句话说，如果标签 l 被分配给点 x 的真实概率 P(l|x)，那么我们可以创建一个内核，它将您的数据点映射到它们的 one-hot 编码最可能的标签，从而导致贝叶斯最佳分类（因为它将获得贝叶斯风险）。

在实践中当然不可能得到这样的内核，因为这意味着你已经解决了你的问题。但是，它表明存在“最佳内核”的概念，显然没有一个经典的内核不是这种类型（除非您的数据来自非常简单的分布）。此外，每个内核都是一种优先于决策函数的函数——你用你的诱导函数族更接近实际的函数——越有可能用 SVM 得到一个合理的分类器。