tfidfvectorizer 在保存的分类器中预测

Question

我使用 TfIdfVectorizer 和 MultinomialNB 训练了我的模型，并将其保存到一个 pickle 文件中。

现在我正在尝试使用另一个文件中的分类器来预测看不见的数据，但我不能这样做，因为它告诉我分类器的特征数量与我当前的特征数量不同语料库。

这是我试图预测的代码。 do_vectorize 函数与训练中使用的函数完全相同。

def do_vectorize(data, stop_words=[], tokenizer_fn=tokenize):
    vectorizer = TfidfVectorizer(stop_words=stop_words, tokenizer=tokenizer_fn)
    X = vectorizer.fit_transform(data)
    return X, vectorizer

# Vectorizing the unseen documents 
matrix, vectorizer = do_vectorize(corpus, stop_words=stop_words)

# Predicting on the trained model
clf = pickle.load(open('../data/classifier_0.5_function.pkl', 'rb'))
predictions = clf.predict(matrix)

但是我收到功能数量不同的错误

ValueError: Expected input with 65264 features, got 472546 instead

这意味着我还必须从训练中保存我的词汇才能进行测试？如果培训中存在不存在的术语会怎样？

我尝试使用来自 scikit-learn 的管道，它具有相同的矢量化器和分类器，以及两者的相同参数。不过从 1 小时到 6 多小时太慢了，所以我更喜欢手动操作。

Answer 1

这意味着我还必须从训练中保存我的词汇才能进行测试？

是的，您必须保存整个 tfidf 矢量化器，这尤其意味着节省词汇量。

如果培训中存在不存在的术语会怎样？

它们将被忽略，这很有意义，因为您没有关于此的训练数据，因此没有什么需要考虑的（还有更复杂的方法仍然可以使用它，但它们不要使用像 tfidf 这样简单的方法。

我尝试使用来自 scikit-learn 的管道，它具有相同的矢量化器和分类器，以及两者的相同参数。不过从 1 小时到 6 多小时太慢了，所以我更喜欢手动操作。

使用管道时应该几乎没有开销，但是只要您记得存储矢量化器，手动操作就可以了。