具有 L1 正则化逻辑回归的 Sklearn SelectFromModel

Question

作为我管道的一部分，我想结合使用LogisticRegression(penalty='l1') 和SelectFromModel 进行特征选择。为了选择合适的正则化量，我用GridSearchCV优化了正则化参数C。

from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression, LassoCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import SelectFromModel
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import GridSearchCV, RepeatedStratifiedKFold
import numpy as np

seed = 111
breast = load_breast_cancer()
X = breast.data
y = breast.target
LR_L1 = LogisticRegression(penalty='l1', random_state=seed, solver='saga', max_iter=1e5)
pipeline = Pipeline([('scale', StandardScaler()),
                     ('SelectFromModel', SelectFromModel(LR_L1)),
                     ('classifier', RandomForestClassifier(n_estimators=500, random_state=seed))])
Lambda = np.array([])
for i in [1e-1, 1, 1e-2, 1e-3]:
    Lambda = np.append(Lambda, i * np.arange(2, 11, 2))
param_grid = {'SelectFromModel__estimator__C': Lambda,
              'classifier_max_features': np.arange(10,100, 10)}
clf = GridSearchCV(pipeline, param_grid, scoring='roc_auc', n_jobs=7, cv=RepeatedStratifiedKFold(random_state=seed),
                   verbose=1)
clf.fit(X, y)

对于C 的某些值，我收到以下警告：

UserWarning: No features were selected: either the data is too noisy or the selection test too strict.

这是可以理解的。 但是，当将相同的LogisticRegression 拟合为分类器而不是特征选择时，我没有遇到任何问题，而用于拟合算法的训练集和超参数是相同的。看结果，不可能有0个特征的系数不等于0。

pipeline2 = Pipeline([('scale', StandardScaler()),
                     ('classifier', LR_L1)])
param_grid2 = {'classifier__C': Lambda}
clf2 = GridSearchCV(pipeline2, param_grid2, scoring='roc_auc', n_jobs=7, cv=RepeatedStratifiedKFold(random_state=seed),
                    verbose=1)
clf2.fit(X, y)

这是一个错误还是我误解了什么？

Answer 1

由于 LogisticRegression 的正则化太强，您发现了一个错误。 param_grid 中的参数 classifier_max_features 也有一个错字 - 它应该是 classifier__max_features（两个下划线）。

使用正则化值C >= 1e-2，代码有效。在这里，您可以找到带有您的示例的 google colab notebook。

还有一点需要注意 - 数据集太小，无法进行如此复杂的操作。