Python scikit learn 的 TfidfVectorizer - 最大值为 1.0？

Question

我在网上找不到这个答案，但是 tfidfVectorizer.fit_transform 的结果是 最大值为 1.0 的数组吗？

因为，随着 idf(term_i)= log (#number of docs/ number of docs containing term_i )，在许多情况下，idf 和随后的 tfidf 不应该 > 1.0 吗？

即包含“苦艾酒”一词的文件。假设我们的术语 freq (tf) 为 1，但 idf 为 (1000 个文档总数/ 1 个包含“苦艾酒”的文档) = 1000, 1*1000 = 1000，不是吗？

但在我使用 scikit-learn 的 TfidfVectorizer 的情况下，我得到的最大值似乎是 1。它是标准化的吗？

Answer 1

默认情况下，tfidf 行是 L2 规范化的。 Here 是源代码中的关键行。

if self.norm:
        X = normalize(X, norm=self.norm, copy=False)

normalize() 来自 sklearn.preprocessing 模块，它表示默认情况下对行进行规范化。 Here 是指向 normalize() 文档的链接。