如何从余弦相似度矩阵中获取项目 ID？答案

【问题标题】：How to get item id from cosine similarity matrix?如何从余弦相似度矩阵中获取项目 ID？
【发布时间】：2018-12-12 06:42:53
【问题描述】：

我正在使用 Spark Scala 来计算 Dataframe 行之间的余弦相似度。

数据框架构如下：

root
    |-- itemId: string (nullable = true)
    |-- features: vector (nullable = true)

下面的数据框示例

    +-------+--------------------+
    | itemId|            features|
    +-------+--------------------+
    | ab    |[4.7143,0.0,5.785...|
    | cd    |[5.5,0.0,6.4286,4...|
    | ef    |[4.7143,1.4286,6....|
    ........
    +-------+--------------------+

计算余弦相似度的代码：

val irm = new IndexedRowMatrix(myDataframe.rdd.zipWithIndex().map {
      case (row, index) => IndexedRow(row.getAs[Vector]("features"), index)
}).toCoordinateMatrix.transpose.toRowMatrix.columnSimilarities

在 irm 矩阵中，我有 (i, j, score) 其中 i, j 是项目 i 和 j 的原始数据帧的索引。我想要获得 (itemIdA, itemIdB, score) 其中 itemIdA 和 itemIdB 分别是索引 i 和 j 的 id，通过将此 irm 与初始数据帧连接或是否有更好的选择？

【问题讨论】：

标签： scala apache-spark matrix machine-learning cosine-similarity

【解决方案1】：

在将数据框转换为矩阵之前创建行索引，并在索引和 id 之间创建映射。计算完成后，使用创建的Map将列索引（之前是行索引，但用transpose更改）转换为id。

val rdd = myDataframe.as[(String, org.apache.spark.mllib.linalg.Vector)].rdd.zipWithIndex()
val indexMap = rdd.map{case ((id, vec), index) => (index, id)}.collectAsMap()

像以前一样使用 :

计算余弦相似度

val irm = new IndexedRowMatrix(rdd.map{case ((id, vec), index) => IndexedRow(index, vec)})
  .toCoordinateMatrix().transpose().toRowMatrix().columnSimilarities()

将列索引转换回 id：

irm.entries.map(e => (indexMap(e.i), indexMap(e.j), e.value))

这应该可以满足您的需求。

【讨论】：

我已经考虑过这个解决方案，但是不建议将 collectAsMap() 用于大型数据集，这是我的情况：只有在预期结果数据很小的情况下才应使用此方法，因为所有数据被加载到驱动程序的内存中。
@proximator：我们在这里谈论的数据集有多大？只收集 id 和 index 列，因此尽可能少。如果数据的大小无法将这两列收集到驱动程序，您可能不应该使用columnSimilarity，这将涉及矩阵乘法。
这张地图会在我集群的每个节点中吗？还是共享？
@proximator：它实际上会与任务一起提供。使用broadcast 可以在每个节点上拥有一个缓存副本。
@proximator 您还可以通过将索引用作连接列来使用两个连接。我猜它会慢一些，但值得一试。那么你不需要收集indexMap，而是将其保存为rdd/df。