sklearn“RidgeClassifier”有什么作用？

Question

我试图了解sklearn.linear_model 中RidgeClassifier 和LogisticRegression 之间的区别。我在文档中找不到它。

我想我非常了解 LogisticRegression 的作用。它计算系数和截距以最小化 half of sum of squares of the coefficients + C times the binary cross-entropy loss，其中 C 是正则化参数。我从头开始检查了一个幼稚的实现，结果一致。

RidgeClassifier 的结果不同，我想不通，那里的系数和截距是如何计算的？查看 Github 代码，我没有足够的经验来解开它。

我问的原因是我喜欢 RidgeClassifier 的结果——它更好地概括了我的问题。但在我使用它之前，我想至少知道它是从哪里来的。

感谢您的帮助。

Answer 1

RidgeClassifier() 与 LogisticRegression() 的工作方式不同，但有 l2 惩罚。 RidgeClassifier() 的损失函数不是交叉熵。

RidgeClassifier() 使用Ridge() 回归模型以如下方式创建分类器：

为简单起见，让我们考虑二元分类。

1. 根据目标变量所属的类将目标变量转换为+1或-1。

2. 构建一个Ridge() 模型（这是一个回归模型）来预测我们的目标变量。损失函数为MSE + l2 penalty

3. 如果Ridge()回归的预测值（根据decision_function()函数计算）大于0，则预测为正类，否则为负类。

对于多类分类：

1. 使用LabelBinarizer() 创建多输出回归场景，然后训练独立的Ridge() 回归模型，每个类一个（One-Vs-Rest 建模）。

2. 从每个类的 Ridge() 回归模型（每个类的实数）获取预测，然后使用 argmax 预测该类。