在 scikit-learn 管道中插入或删除步骤

Question

是否可以在sklearn.pipeline.Pipeline 对象中删除或插入步骤？

我正在尝试在 Pipeline 对象中使用或不使用一步进行网格搜索。并且想知道我是否可以在管道中插入或删除一个步骤。我在Pipeline 源代码中看到，有一个self.steps 对象包含所有步骤。我们可以通过named_steps()获取步骤。在修改它之前，我想确定一下，我不会造成意想不到的影响。

这是一个示例代码：

from sklearn.pipeline import Pipeline
from sklearn.svm import SVC
from sklearn.decomposition import PCA
estimators = [('reduce_dim', PCA()), ('svm', SVC())]
clf = Pipeline(estimators)
clf 

我们是否有可能做类似steps = clf.named_steps() 的操作，然后在此列表中插入或删除？这会对 clf 对象造成不良影响吗？

Answer 1

我看到大家只提到了删除步骤。如果您还想在管道中插入一个步骤：

pipe.steps.append(['step name',transformer()])

pipe.steps 的工作方式与列表相同，因此您也可以将项目插入特定位置：

pipe.steps.insert(1,['estimator',transformer()]) #insert as second step

Answer 2

基于初步测试，您可以像处理任何列表项一样安全地从 scikit-learn 管道中删除一个步骤，只需一个简单的

clf_pipeline.steps.pop(n)

其中 n 是您尝试删除的单个估算器的位置。

Answer 3

只是插话，因为我觉得其他答案很好地回答了向管道添加步骤的问题，但并没有真正涵盖如何从管道中删除步骤。

但请注意我的方法。在这种情况下切片列表有点奇怪。

from sklearn.pipeline import Pipeline
from sklearn.svm import SVC
from sklearn.decomposition import PCA
from sklearn.preprocessing import PolynomialFeatures

estimators = [('reduce_dim', PCA()), ('poly', PolynomialFeatures()), ('svm', SVC())]
clf = Pipeline(estimators)

如果你想创建一个只有步骤 PCA/多项式的管道，你可以按索引对列表进行切片并将其传递给管道

clf1 = Pipeline(clf.steps[0:2])

只想使用步骤 2/3？ 注意这些片段并不总是最有意义

clf2 = Pipeline(clf.steps[1:3])

只想使用步骤 1/3？ 我似乎无法使用这种方法

clf3 = Pipeline(clf.steps[0] + clf.steps[2]) # errors

Answer 4

是的，这是可能的，但您必须满足 Pipeline 在初始化时要求的相同要求，即您不能在除最后一步之外的任何步骤中插入预测器，您应该在更新 Pipeline.steps 后调用 fit，因为在更新完所有步骤之后（可能是在之前的fit 调用中学到的）将失效，Pipeline 的最后一步也应该始终实现fit 方法，之前的所有步骤都应该实现fit_transform。

所以是的，它可以在当前的代码库中工作，但我认为这不是你的任务的好解决方案，它使你的代码更加依赖于 Pipeline 的当前实现，我认为使用修改的步骤创建新的 Pipeline 更方便，因为 Pipeline 至少会验证您在初始化中的所有步骤，所以创建新的 Pipeline 在速度方面与修改现有管道的步骤不会有显着差异，但正如我刚才所说 - 在每次修改步骤后创建新的 Pipeline 更安全以防有人会显着改变 Pipeline 的实现。