支持向量机与逻辑回归相比如何？答案

【问题标题】：How does Support Vector Machine compare to Logistic Regression?支持向量机与逻辑回归相比如何？
【发布时间】：2015-01-09 20:29:04
【问题描述】：

支持向量机 (SVM) 和逻辑回归 (LR) 已在机器学习社区广泛讨论，我知道它们都取得了不错的性能。但是，我不确定 SVM 与逻辑回归相比如何？为什么有时 SVM 可以比 LR 表现更好？有时不是？是什么因素决定了这些。

【问题讨论】：

标签： machine-learning svm logistic-regression

【解决方案1】：

为什么有时 SVM 的性能比 LR 更好？有时不是？

您可以针对任何两种统计方法 x 和 y 提出这个问题。在某些情况下，总会存在一种表现优于另一种的情况。这种行为通常用“天下没有免费的午餐”来概括。

现在，您关于支持向量机和逻辑回归的特定问题非常广泛，因此我只能列举一些粗略的特征。逻辑回归（即应用 sigmoid 的线性模型）在实践中经常使用，因为拟合参数易于解释。此外，作为（广义）线性模型，它通常也适用于大特征维度。另一方面，SVM 通常会导致较小的训练和泛化误差，这是由于使用了相对较少数量的支持向量（“稀疏性”），因此非常适用于具有大量样本的数据集。

在实践中，如果可能，您应该始终比较两者。此外，如果需要可解释性，我建议首选逻辑回归，如果需要良好的预测能力，则建议使用 SVM。

【讨论】：

SVM 的非线性？它是一个线性分类器。
@Don Reba：你说得对，它在某些高维空间中是线性的。谢谢指正。