支持向量机和拉格朗日乘数

Question

要找到超平面，我们必须使用拉格朗日乘数解决优化问题。我读过很多教程，他们都说支持向量是唯一具有拉格朗日乘数不为零的向量。

我想了解为什么或者我们只是假设？

Answer 1

这是因为从数学角度来看，超平面可以表示为（在线性情况下）：

w = SUM_i^N y_i alpha_i x_i

因此，如果某些拉格朗日乘数 (alpha_i) 为零，则它们对应的向量 (x_i) 根本不会影响超平面，因为乘以零会使该向量从计算中消失。在内核情况下也是如此

<w, x> = SUM_i^N y_i alpha_i K(x_i, x)

对于 0 拉格朗日乘数，对应向量的核值无关紧要（同样 - 乘以零会删除该元素）。

因此，我们将这些在任何意义上用于表达超平面的向量称为 - 支持向量，因为它们是唯一真正支持的向量> 超平面，所有剩余的 - 在计算中被忽略。