评估 NB 模型的预测准确性

Question

使用nltk 中的scikit-learn 来检查朴素贝叶斯分类器的准确性，我做错了什么？

...readFile definition not needed 
#divide the data into training and testing sets
data = readFile('Data_test/')
training_set = list_nltk[:2000000]
testing_set = list_nltk[2000000:]

#applied Bag of words as a way to select and extract feature
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(training_set.split('\n'))

#apply tfd
tf_transformer = TfidfTransformer(use_idf=False).fit(X_train_counts)
X_train_tf = tf_transformer.transform(X_train_counts)

#Train the data
clf = MultinomialNB().fit(X_train_tf, training_set.split('\n'))

#now test the accuracy of the naive bayes classifier
test_data_features = count_vect.transform(testing_set)
X_new_tfidf = tf_transformer.transform(test_data_features)

predicted = clf.predict(X_new_tfidf)
print "%.3f" % nltk.classify.accuracy(clf, predicted)

问题是当我打印 nltk.classify.accuracy 时，它需要很长时间，我怀疑这是因为我做错了什么，但由于我没有出错，我无法弄清楚是什么错误.

Answer 1

改用accuracy_score 的sklearn metrics。

>>> from sklearn.metrics import accuracy_score
>>> y_pred = [0, 2, 1, 3]
>>> y_true = [0, 1, 2, 3]
>>> accuracy_score(y_true, y_pred)
0.5

我认为您在混合监督学习方面的一些内容。
请参阅此 answer 并尝试理解 top of this page。

您的数据应该采用这种形式（在进行矢量化之前）：

X = [["The cat is sleeping"], ..., ["The man is dead"]]
Y = [1, ..., 0] 

Answer 2

你至少在这一行有一个错误

clf = MultinomialNB().fit(X_train_tf, training_set.split('\n'))

您需要在其中包含训练标签和矢量化数据，但您拥有原始数据和矢量化数据。

应该是这样的：

clf = MultinomialNB().fit(X_train_tf, y_train)

但据我所知，您的代码中的任何地方都没有标签 y_train 数据。