HashingTF 没有给出唯一索引

Question

我正在使用 eclipse Mars、java 8 和 spark spark-assembly-1.6.1-hadoop2.4.0.jar 实现潜在语义分析 LSA 我将文件作为令牌传递，然后得到 SVD 等等

   HashingTF hf = new HashingTF(hashingTFSize);
    JavaRDD<Vector> ArticlesAsV = hf.transform(articles.map(x->x.tokens));
  JavaRDD<Vector> ArticlesTFIDF = idf.fit(ArticlesAsV).transform(ArticlesAsV);
RowMatrix matTFIDF = new RowMatrix(ArticlesTFIDF.rdd());
   double rCond= 1.0E-9d;
    int k = 50;
    SingularValueDecomposition<RowMatrix, Matrix> svd =  matTFIDF.computeSVD(k, true, rCond);

每件事都完美无缺，除了一个，那就是当我尝试从 hashingTF 中获取术语的索引时

int index = hf.indexOf(term);

我发现有很多具有相同索引的术语，这些是我得到的一些

0 : 术语
1：全部
1：下一个
2 : tt
3：
7：文件
9：这样
9：矩阵
11：文件
11：关于
11：每个
12：功能
12：机会
14：这个
14：提供
意味着，当我尝试用它来获取术语的向量时，我可能会得到另一个具有相同索引的向量，我在词形还原和删除停用词之后做了它，但仍然得到相同的错误，是否存在我错过的任何内容，或需要更新的组件（例如 MLip）的错误；我怎样才能为每个术语保持唯一性。

Answer 1

Spark 类HashingTF 利用hashing trick。

通过应用哈希将原始特征映射到索引（术语） 功能。然后根据映射计算词频 指数。这种方法避免了计算全局 term-to-index map，这对于大型语料库来说可能很昂贵，但它 遭受潜在的哈希冲突，其中不同的原始特征 哈希后可能变成同一个词。为了减少发生的机会 碰撞，我们可以增加目标特征维度，即 哈希表的桶数。默认特征维度为 2^20=1,048,576。

所以词组可以有相同的索引。

相对于下面的 cmets，如果您需要所有术语，可以使用 CountVectorizer 代替 HashingTF。 CountVectorizer 也可用于获取词频向量。 使用CountVectorizer，随后使用IDF 您必须使用 DataFrame 而不是 JavaRDD，因为 CountVectorizer 仅在 ml 包中受支持。

这是一个带有 id 和 words 列的 DataFrame 示例：

id | words
---|----------  
0  | Array("word1", "word2", "word3")  
1  | Array("word1", "word2", "word2", "word3", "word1")

因此，如果您将 articles JavaRDD 转换为 DataFrame，其中包含 id 和 words 列，其中每一行都是来自句子或文档的一组单词，您可以使用如下代码计算 TfIdf：

CountVectorizerModel cvModel = new CountVectorizer()
  .setInputCol("words")
  .setOutputCol("rawFeatures")
  .setVocabSize(100000) // <-- Specify the Max size of the vocabulary.
  .setMinDF(2) // Specifies the minimum number of different documents a term must appear in to be included in the vocabulary.
  .fit(df); 

  DataFrame featurizedData = cvModel.transform(articles);

  IDF idf = new IDF().setInputCol("rawFeatures").setOutputCol("features");
  IDFModel idfModel = idf.fit(featurizedData);