在 R 中使用 quadprog 的 SVM

Question

This 一组练习让学生使用 QP 求解器来求解 R 中的 SVM。建议的求解器是 quadprog 包。二次问题如下：

从关于线性SVM的评论中，$K=XX'$，$K$通常是一个奇异矩阵，最多秩$p$，其中$X$是$n\times p$。但是求解器 quadprog 需要一个正定矩阵，而不仅仅是 PSD，来代替 $K$，正如 many 所提到的位置（并已验证）。老师有什么想法吗？

Answer 1

我认为解决方法是在应该是正定矩阵的对角线元素上添加一个小数（例如 1e-7）。我不确定它背后的数学原理，但以下来源以及我的经验表明该解决方案有效。

来源：https://stats.stackexchange.com/questions/179900/optimizing-a-support-vector-machine-with-quadratic-programming

来源：https://teazrq.github.io/stat542/hw/HW6.pdf