我已经阅读了很多关于支持向量机的内容，并且在我看到的所有书籍和在线文章中，SVM 都被归类为使用超平面的线性分类器。如果数据不能线性可分，则可以将数据映射到更高的维度以启用线性边界。
现在，我看到了来自华盛顿大学的 Pedro Domingos 教授的一些文章和幻灯片，他是著名的机器学习专家。 他特别将 SVM 归类为基于实例的机器学习算法，类似于 kNN。谁能给我解释一下？
例如，在 ACM 通信（2012 年 10 月）的 article 中，他特别将 SVM 置于基于“实例”的表示下，而大多数机器学习人员会将其置于具有逻辑回归的“超平面”下。
此外，在他的lecture slides 中，他给出了这样的理由：
有人能解释一下这个推理吗？为什么 SVM 会是基于实例的学习器（如 KNN）而不是线性分类器（如逻辑回归）？
【问题讨论】：
标签： machine-learning svm
您可以将 SVM 视为一种基于实例的学习算法，因为如果您无法明确表示特征空间以及该空间中的判别超平面，则需要记住支持向量。
如果您使用 RBF 内核，您的决策边界将由每个支持向量周围的高斯凹凸组成，这与您使用使用 alpha_i 加权的支持向量的 kNN 分类器得到的结果接近。
【讨论】：
x 执行分类时，您正在计算w.x - b 以查看超平面x 位于哪一侧，对吧？ w 中的权重已经被训练来创建超平面，所以此时支持向量已经不存在了。
w，例如当您使用线性 SVM 或内核时，您可以将数据显式映射到特征空间（因此在此特征空间中有线性 SVM）。如果你能做到这一点，SVM 就像一个逻辑回归分类器，你可以根据它位于学习超平面的哪一侧来选择一个新测试点的类别。但通常你不能明确地表示特征空间，例如使用 RBF 内核时。然后你不能计算w，而必须依赖支持向量。
我认为最好直接询问 Domingos 教授。
SVM 确实使用了超平面——毕竟两者都是二进制的。然而，将 SVM 与 LR 的公式进行比较——与 LR 不同，SVM 不是概率性的。 HTH，尽管有人肯定会争辩说所有 ML 都是基于实例的。
【讨论】：