是否可以在 Solr/Lucene 中模拟余弦相似度？

Question

我对使用 Solr 对余弦相似度算法进行建模的可能方法很感兴趣。我有分配了向量的项目，例如：

items = [
  { id: 1, vector: [0,0,0,2,3,0,0] },
  { id: 2, vector: [0,1,0,1,5,0,0] },
  { id: 3, vector: [2,3,0,0,0,1,0] },
  { id: 4, vector: [1,2,4,6,5,0,0] }
]

以及其他需要排名的搜索向量。

目前，我通过遍历所有项目并根据输入向量为它们分配排名，在 ruby​​ 中对此进行建模。这是我正在使用的余弦相似度的实现：

module SimilarityCalculator

  def self.get_similarity(vector1, vector2)
    dp = dot_product(vector1, vector2)
    nm = normalize(vector1) * normalize(vector2)
    dp / nm
  end

  private

  def self.dot_product(vector1, vector2)
    sum = 0.0
    vector1.each_with_index { |val, i| sum += val * vector2[i] }
    sum
  end

  def self.normalize(vector)
    Math.sqrt(vector.inject(0.0) { |m,o| m += o**2 })
  end

end

然后，要获得排名列表，我会执行以下操作：

ranked = []
search_vector = [1,0,0,3,5,0,0]
items.each do |item|
  rank = SimilarityCalculator.get_similarity(search_vector, item.vector)
  { id: item.id, rank: rank }
end

我对 Solr 的了解不够多，不知道如何建模，或者即使它可以建模，但我想我会把它扔在那里。

Answer 1

lucene已经使用余弦相似之柴，所以真正的问题是：你能把你的向量映射到禄天的矢量吗？你能删除你不想要的 Lucene 做的规范等吗？

你可以始终写自己的评分和分析功能，所以如果你愿意做一些编码，答案是一个明确的“是”。不过，这可能需要比您想要的更多的工作。

对于可能会实现某种方式但不需要任何编码的选项：将每个维度转换为“dim_n”单词，并重复它（或增强它），然而许多次数是该维度中的向量的幅度。例如：

[1,2,0,1] ==> "dim_1 dim_2 dim_2 dim_4"

如果您的矢量大致相同的大小且均匀分布在尺寸上，这可能是一个非常好的近似。

如果您告诉我们更多有关问题的信息（例如，您真的需要提供 Lucene 向量作为输入还是可以提供文本？）我们或许能够找到更好的解决方案。