可以缓存 scikit-learn 估计器的计算成本高昂的 .fit() 方法吗？

Question

我正在使用sklearn.ensemble.BaggingClassifier 在我的数据上拟合 1000 个估计器。我想知道是否可以缓存此类的.fit() 方法，以便在第一次运行脚本后可以简单地缓存.fit() 方法的输出？

以此为例：

import numpy as np
from sklearn.ensemble import BaggingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification

rng = np.random.RandomState(42)
X, y = make_classification(n_samples=1000,n_features=4,n_informative=2,
                           n_redundant=0,random_state=rng,shuffle=False)

# initialize bagging classifier
clf = BaggingClassifier(base_estimator=LogisticRegression(),n_estimators=1000,random_state=rng)
result = clf.fit(X,y).estimators_[0].coef_

编辑：

下面的答案似乎给出了关于如何在拟合过程中在中缓存结果的答案，即在拟合 n 个估计器时，尝试使用来自已拟合分类器的预先计算的结果。相反，我正在寻找的是一种缓存整个过程的方法。我想知道是否可以为此使用sklearn.pipeline.Pipeline？修改后的代码将如下所示（如果这是正确的，很高兴收到反馈）：

from sklearn.pipeline import Pipeline
# initialize bagging classifier
clf = BaggingClassifier(base_estimator=LogisticRegression(),n_estimators=1000,random_state=rng)
pipe = Pipeline([('clf',clf)],memory='./cache')
result = pipe.fit(X,y)._final_estimator.estimators_[0].coef_

Answer 1

您可以使用warm_start 重用上一次调用的解决方案，以适应并向集成添加更多估计器。

使用此解决方案，您可以批量计算估算器并保存当前模型状态。

下面是warm_start的例子：

from sklearn.svm import SVC
from sklearn.ensemble import BaggingClassifier
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=100, n_features=4,
                           n_informative=2, n_redundant=0,
                           random_state=0, shuffle=False)

clf = BaggingClassifier(base_estimator=SVC(),
                        n_estimators=10, random_state=0, warm_start=True)

for i in range(5):
    clf.fit(X, y)
    print(f'Iteration {i} score with {clf.n_estimators}: {clf.score(X, y)}')
    clf.n_estimators += 10

这将输出以下内容：

Iteration 0 score with 10: 0.92
Iteration 1 score with 20: 0.93
Iteration 2 score with 30: 0.92
Iteration 3 score with 40: 0.92
Iteration 4 score with 50: 0.92