在 python 中使用 sklearn 自己的估计器进行网格搜索 CV

Question

我正在尝试构建自己的估算器（回归器）并将其用于插补（KnnImputation）。我在使用网格搜索“GridSearchCV”时遇到问题。 任何想法是什么问题？

我的代码：

class KnnImputation(BaseEstimator, RegressorMixin):

    def __init__(self, k=5, distance='euclidean'):
        self.k = k
        self.distance = distance

    def get_params(self, deep=False):
        return {'k': self.k, 'distance': self.distance}

    def set_params(self, **parameters):
        self.k = parameters['k']
        self.distance = parameters['distance']

    def fit(self, X, y):

        self.xTrain = X.values
        self.yTrain = y.values

        return self

    def predict(self, X):
        ........

        return yPred

# scorer:
scorer = make_scorer(mean_squared_error)

kf = KFold(n_splits=10, shuffle=False, random_state=23)
NN = KnnImputation()
gridSearchNN = GridSearchCV(NN, param_grid=params, scoring=scorer, n_jobs=1,
                            cv=kf.split(xTrain, yTrain), verbose=1)
gridSearchNN.fit(X=xTrain, y=yTrain)

我的错误：

....
  File "C:\Users\...........\dataImputation.py", line 85, in knnImputationMethod
    gridSearchNN.fit(X=xTrain, y=yTrain)
  File "C:\Users\.....\Anaconda3\lib\site-packages\sklearn\model_selection\_search.py", line 740, in fit
    self.best_estimator_.fit(X, y, **fit_params)
AttributeError: 'NoneType' object has no attribute 'fit'

Answer 1

从sklearn.model_selection._search 中的sklearn 源代码，我们在fit 方法中有以下代码：

if self.refit:
    self.best_estimator_ = clone(base_estimator).set_params(
        **self.best_params_)
    refit_start_time = time.time()
    if y is not None:
        self.best_estimator_.fit(X, y, **fit_params)

这里重要的是行：

self.best_estimator_ = clone(base_estimator).set_params(**self.best_params_)

克隆由 base_estimator 对象组成，它就是您的 KNNImputation 类。然后在克隆的估计器上调用实例方法set_params()。然后变量self.best_estimator指向set_params()的返回值。

在您提供的代码中，set_params() 方法没有return 语句，因此它返回None。因此，对self.best_estimator_.fit() 的调用等效于None.fit()，这显然是行不通的。您需要通过在set_params() 函数中返回self 来启用方法链接。

相关代码为：

def set_params(self, **parameters):
    self.k = parameters['k']
    self.distance = parameters['distance']
    return self

TL;DR：

您需要通过返回self 来启用set_params 中的方法链接。