推文分类器特征选择 NLTK

Question

我目前正在尝试使用 NLTK 中的朴素贝叶斯分类器对推文进行分类。我正在使用“$”前缀（例如：$AAPL）对与特定股票代码相关的推文进行分类。我的 Python 脚本基于这篇博文：Twitter Sentiment Analysis using Python and NLTK。到目前为止，我已经取得了相当不错的成绩。但是，我觉得还有很大很大的改进空间。

在我的单词特征选择方法中，我决定实现 tf-idf 算法来选择信息量最大的单词。不过，在这样做之后，我觉得结果并不那么令人印象深刻。

然后我在以下博客上实现了该技术：Text Classification Sentiment Analysis Eliminate Low Information Features。结果与使用 tf-idf 算法获得的结果非常相似，这使我更彻底地检查了我的分类器的“最具信息性的特征”列表。那时我意识到我遇到了一个更大的问题：

推文和真实语言不使用相同的语法和措辞。在普通文本中，可以使用 tf-idf 或停用词来挑选出许多冠词和动词。然而，在推文语料库中，一些极其无信息的词，如“the”、“and”、“is”等，与对正确分类文本至关重要的词一样多。我不能只删除所有少于 3 个字母的单词，因为一些无信息特征比这更大，而一些信息特征更小。

如果可以，我希望不必使用停用词，因为需要经常更新列表。但是，如果这是我唯一的选择，我想我将不得不接受它。

所以，总结一下我的问题，有谁知道如何真正在推文的特定来源中获得信息量最大的词？

编辑：我试图分为三组：正面、负面和中立。另外，我想知道，对于 TF-IDF，我应该只剪掉分数低的单词，还是剪掉分数高的单词？在每种情况下，您会从特征选择过程中排除多少百分比的文本源词汇？

Answer 1

您链接到的博文描述了 show_most_informative_features 方法，但 NaiveBayesClassifier 也有一个 返回 特征的 most_informative_features 方法而不仅仅是打印它们。您可以简单地根据您的训练集设置一个截止值 - 诸如“the”、“and”之类的特征以及其他不重要的特征将在信息量方面位于列表的底部。

确实，这种方法可能会过度拟合（某些特征在您的训练集中比在您的测试集中重要得多），但对于任何根据您的训练集过滤特征的东西来说都是如此。