如何保存 sklearn 管道/特征转换器答案

【问题标题】：How to save sklearn pipeline/feature-transformer如何保存 sklearn 管道/特征转换器
【发布时间】：2016-03-26 09:32:01
【问题描述】：

我有一个管道只包含一个特征联合，它具有三组不同的特征，包括 tfidf：

A_vec = AVectorizer()
B_vec = BVectorizer()
tfidf_vec = TfidfVectorizer(ngram_range=(1,2), analyzer='word', binary=False, stop_words=stopWords, min_df=0.01, use_idf=True)
all_features = FeatureUnion([('A_feature', A_vec), ('V_feature', B_vec), ('tfidf_feature', tfidf_vec)])
pipeline = Pipeline([('all_feature', all_features)])

我想为我的测试数据保存这个流水线特征转换器（我正在使用 LibSVM 进行分类），这是我尝试过的：

我已经使用 joblib.dump 来保存这个管道，但是它生成了太多的 .npy 文件，所以我不得不停止写入过程。这是一个相当愚蠢的尝试！
我已经保存了 tfidf_vec.vocabulary_，因此

tfidf_vec2 = TfidfVectorizer(ngram_range=(1,3), analyzer='word', binary=False, stop_words=stopWords, min_df=0.01, use_idf=True,vocabulary=pickle.load(open("../vocab .pkl", "rb"))

... ...

feat_test = pipeline2.transform(X_test)

它说“NotFittedError：没有拟合 idf 向量”。然后我使用了 fit_transform 而不是 transform 但它生成了一个包含不同值的特征向量（与正确的特征向量相比）。然后我关注了http://thiagomarzagao.com/2015/12/08/saving-TfidfVectorizer-without-pickles/，仍然在努力让它工作。

有没有更简单的方法来实现这一点？谢谢！

【问题讨论】：

标签： python nlp scikit-learn

【解决方案1】：

目前尚不清楚您想要实现什么以及您面临什么问题。据我了解，你试过这个

我已经使用 joblib.dump 来保存这个管道，但是它生成了太多的 .npy 文件，所以我不得不停止写入过程。这是一个相当愚蠢的尝试！

由于您对此不满意，因此您尝试了其他一些替代方法。好吧，如果你只想生成一个文件，你可以这样做：

joblib.dump(pipeline, 'filename.pkl', compress = 1)

另外，我强烈建议您下次插入一个最小可行示例！

【讨论】：

【解决方案2】：

我会像你在第一个选项中那样使用 joblib.dump。它生成了多少个 *.npy 文件？拥有大量 *.npy 文件有什么问题？

【讨论】：