通过随机搜索和递归特征消除将特征缩放添加到嵌套交叉验证

Question

我有一个分类任务，想使用重复的嵌套交叉验证来同时执行超参数调整和特征选择。为此，我正在使用 Python 的 sklearn 库在 RFECV 上运行 RandomizedSearchCV，正如 this SO answer 中所建议的那样。

但是，我还需要先扩展我的特征并估算一些缺失值。这两个步骤也应该包含在 CV 框架中，以避免训练和测试折叠之间的信息泄漏。我试图创建一个管道来到达那里，但我认为它“破坏”了我的 CV 嵌套（即，彼此分开执行 RFECV 和随机搜索）：

import numpy as np    
from sklearn.datasets import make_classification
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.feature_selection import RFECV
import scipy.stats as stats
from sklearn.utils.fixes import loguniform
from sklearn.preprocessing import StandardScaler
from sklearn.impute import KNNImputer
from sklearn.linear_model import SGDClassifier
from sklearn.model_selection import RandomizedSearchCV
from sklearn.pipeline import Pipeline

# create example data with missings
Xtrain, ytrain = make_classification(n_samples = 500,
                                     n_features = 150,
                                     n_informative = 25,
                                     n_redundant = 125,
                                     random_state = 1897)
c = 10000 # number of missings
Xtrain.ravel()[np.random.choice(Xtrain.size, c, replace = False)] = np.nan # introduce random missings

folds = 5
repeats = 5
rskfold = RepeatedStratifiedKFold(n_splits = folds, n_repeats = repeats, random_state = 1897)
n_iter = 100

scl = StandardScaler()
imp = KNNImputer(n_neighbors = 5, weights = 'uniform')
sgdc = SGDClassifier(loss = 'log', penalty = 'elasticnet', class_weight = 'balanced', random_state = 1897)
sel = RFECV(sgdc, cv = folds)
pipe = Pipeline([('scaler', scl),
                 ('imputer', imp),
                 ('selector', sel),
                 ('clf', sgdc)])
param_rand = {'clf__l1_ratio': stats.uniform(0, 1),
              'clf__alpha': loguniform(0.001, 1)}
rskfold_search = RandomizedSearchCV(pipe, param_rand, n_iter = n_iter, cv = rskfold, scoring = 'accuracy', random_state = 1897, verbose = 1, n_jobs = -1)
rskfold_search.fit(Xtrain, ytrain)

有谁知道如何在不丢失我的 RandomizedSearchCV 和 RFECV 的嵌套的情况下将缩放和插补纳入 CV 框架？

非常感谢任何帮助！

Answer 1

你没有丢失嵌套的简历。

您在顶层有一个搜索对象；当您调用fit 时，它会将数据拆分为多个折叠。让我们关注一个这样的火车折叠。您的管道安装在上面，因此您可以进行缩放和估算，然后 RFECV 将其拆分为内部折叠。最后，一个新的估计器被安装在外部训练折叠上，并在外部测试折叠上进行评分。

这意味着 RFE 可能会有一点泄漏，因为缩放和插补发生在其分裂之前。您可以将它们添加到估算器之前的管道中，并将该管道用作 RFE 估算器。由于RFECV 使用发现的最佳特征数量重新调整了它的估计器，并为predict 等公开了它，所以你真的不需要sgdc 的第二个副本；仅使用一个副本也会产生超参数调整选择的副作用：

scl = StandardScaler()
imp = KNNImputer(n_neighbors=5, weights='uniform')
sgdc = SGDClassifier(loss='log', penalty='elasticnet', class_weight='balanced', random_state=1897)
base_pipe = Pipeline([
    ('scaler', scl),
    ('imputer', imp),
    ('clf', sgdc),
])
sel = RFECV(base_pipe, cv=folds)

param_rand = {'estimator__clf__l1_ratio': stats.uniform(0, 1),
              'estimator__clf__alpha': loguniform(0.001, 1)}
rskfold_search = RandomizedSearchCV(sel, param_rand, n_iter=n_iter, cv=rskfold, scoring='accuracy', random_state=1897, verbose=1, n_jobs=-1)