我已经在“Insight into Data Mining Theory and Practice”中完成了SVM算法。
Page 253 Example 10.1
在这种情况下，算法停止查找Wtranspose X -gama
发现有3 misclassifications。
并告诉accuracy
训练集中的分类器是70%。 final optimum solution 或者是那里
任何在 svm 中完成的 iteration。
如果是这样，请告诉我从哪里开始迭代以及我们应该从哪些数据开始迭代。
【问题讨论】：
标签： algorithm machine-learning svm
SVM 以迭代方式进行训练，以找到全局最优。所以它不会陷入一些像神经网络等次优的解决方案中，而是仍然以迭代的方式进行训练，因为此类问题不存在封闭形式的解决方案。必须注意，这个优化是根据最小化 SVM 优化项来定义的，包含边距大小和错误分类计数的加权和，尽管您可以人工训练一个模型，它将通过使用 RBF 内核在训练集上具有 100% 的准确率，以及非常大的 C 和 gamma，这将迫使您的 SVM 过度拟合您的数据（这将退化为简单的模型，它只是记住训练集，并且将无用，但您会看到“100%”的分数）。所以 - 是的 - 训练的结果是模型的“最终形式”，低于 100% 的准确度是预期的。
第二个问题——“从哪里开始迭代”没有意义。在经典方法中，问题被转化为对偶解释，其中运行 SMO 算法，以便在 Lagrange 多人的线性有界子空间上找到凸函数的最优值。并且迭代会通过违反 KKT 最优性条件的点，因此这些点都是“开始于”的。
【讨论】：
sklearn (sklearn.org) 中非常容易遵循的库之一，带有很好的教程。如果您想了解 SVM 背后的数学 - 您可以尝试一下 Haykin 的神经网络书