识别区分类的最有用的词[重复]

Question

是否可以使用 tfidf（Python 中的 tfidfvectorizer）来确定在尝试区分 两个文本类别（即正面或负面情绪等）时哪些词最重要？例如，哪些词对于识别正类最重要，然后分别哪些词对于识别负类最有用？

Answer 1

您可以让 scikit learn 完成繁重的工作 - 在您的二叉树上训练一个随机森林，提取分类器的特征重要性排名并使用它来获取最重要的单词：

clf = RandomForestClassifier()
clf.fit(data, labels)

importances = clf.feature_importances_
np.argsort(importances)[::-1]

feature_names = vectorizer.get_feature_names()
top_words = []

for i in xrange(100):
    top_words.append(feature_names[indices[i]])

请注意，这只会告诉您最重要的词是什么，而不是它们对每个类别的说法。要说出每个单词对每个类别的意义，您可以对各个单词进行分类，看看它们的分类是什么。

另一种选择是获取所有正/负数据样本，从中删除您尝试理解的单词，看看这如何影响样本的分类。