Tfidf 转换器（sklearn）导致：“类型不支持转换：（dtype（'O'），）”

Question

我有一个字符串列表，我适合_transform 到 CountVectorizer。

当我尝试对其进行 TfidfTransform 时，我得到了错误：

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
X_train_counts = count_vect.fit(features_train)

from sklearn.feature_extraction.text import TfidfTransformer
transformer = TfidfTransformer()
X_train_tfidf = transformer.fit_transform(X_train_counts)

TypeError: no supported conversion for types: (dtype('O'),)

Answer 1

您没有正确地向 TfidfTransformer 提供计数矩阵。

count_vect.fit(features_train) 不会返回计数矩阵。它返回self，意味着它将返回CountVectorizer 类的拟合版本。

返回计数矩阵需要调用transform()方法。

更正如下代码：

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()

# This changed
X_train_counts = count_vect.fit_transform(features_train)

from sklearn.feature_extraction.text import TfidfTransformer
transformer = TfidfTransformer()
X_train_tfidf = transformer.fit_transform(X_train_counts)

现在您应该不会收到任何错误。

顺便说一句，我建议您使用TfidfVectorizer，而不是分别调用 CountVectorizer 和 TfidfTransformer，这只是这两者的组合，可以将您的代码减少到：

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vect = TfidfVectorizer()
X_train_tfidf = transformer.fit_transform(features_train)