一般来说，TF-IDF 什么时候会降低准确率？答案

【问题标题】：In general, when does TF-IDF reduce accuracy?一般来说，TF-IDF 什么时候会降低准确率？
【发布时间】：2017-01-02 07:06:16
【问题描述】：

我正在使用朴素贝叶斯模型将包含 200000 条评论的语料库训练成正面和负面评论，我注意到执行 TF-IDF 实际上会降低准确度（在测试包含 50000 条评论的测试集上）约 2% .所以我想知道 TF-IDF 是否对它所使用的数据或模型有任何潜在的假设，即使用它会降低准确性的任何情况？

【问题讨论】：

标签： sentiment-analysis tf-idf text-classification naivebayes

【解决方案1】：

据我所知，TF-IDF 是一项功能。 TF 是词频，即文档中出现的频率。 IDF 是逆文档频率，即出现该术语的文档的频率。

这里，模型使用训练语料库中的 TF-IDF 信息来估计新文档。举一个非常简单的例子，假设一个带有单词 bad 的文档在训练集中具有相当高的单词 bad 的词频，会将情绪标记为负面。因此，任何包含 bad 的新文档都更有可能是负面的。

为了准确度，您可以手动选择包含主要使用的否定词或肯定词的训练语料库。这将提高准确性。

【讨论】：

【解决方案2】：

TF*IDF 的 IDF 组件在某些情况下会损害您的分类准确性。

假设以下人工的、简单的分类任务是为了说明：

A 类：包含“玉米”一词的文本
B 类：不包含“玉米”一词的文本

现在假设在 A 类中，您有 100 000 个示例，在 B 类中，有 1000 个示例。

TFIDF 会发生什么？玉米的逆文档频率会很低（因为它几乎在所有的文档中都能找到），特征“玉米”会得到一个非常小的 TFIDF，这是分类器使用的特征的权重。显然，“玉米”是这个分类任务的最佳特征。这是 TFIDF 可能会降低分类准确性的示例。更笼统地说：

当存在类不平衡时。如果一个类中有更多实例，则频繁类的好词特征可能具有较低的 IDF，因此它们的最佳特征将具有较低的权重
当您有高频词非常能预测某一类时（在该类的大多数文档中都可以找到的词）

【讨论】：

非常清楚的例子，我想知道在这种情况下你会怎么做。也许适合整个语料库的 tfidf，然后适合少数类（或多个类）并包含后者的一些标记？

【解决方案3】：

您可以通过适当地执行网格搜索来启发式地确定在您的训练数据上使用 IDF 是否会降低您的预测准确性。例如，如果您在 sklearn 中工作，并且想要确定 IDF 是否会降低模型的预测精度，则可以对 TfidfVectorizer 的 use_idf 参数执行网格搜索。例如，此代码将在选择 IDF 以使用 SGDClassifier 进行分类时实现网格搜索算法（您必须先导入所有正在实例化的对象）：

# import all objects first
X = # your training data
y = # your labels

pipeline = Pipeline([('tfidf',TfidfVectorizer()),
                     ('sgd',SGDClassifier())])
params = {'tfidf__use_idf':(False,True)}
gridsearch = GridSearch(pipeline,params)
gridsearch.fit(X,y)
print(gridsearch.best_params_)

输出将是：

Parameters selected as the best fit:
{'tfidf__use_idf': False}

或

{'tfidf__use_idf': True}

【讨论】：