【发布时间】:2014-02-01 22:03:59
【问题描述】:
维基百科对向量空间模型给出了很好的解释。
http://en.wikipedia.org/wiki/Vector_space_model
除了它跳过了一个对我来说不是自我解释的部分。这就是查询向量的定义。正文以
开头d_j = ( w_{1,j} ,w_{2,j} , .... ,w_{t,j} ) // document vector
q = ( w_{1,q} ,w_{2,q} , ... ,w_{t,q} ) // query vector
并继续解释 d_j 如何根据 tf-idf 定义为语料库中的文档。没关系,但我无法将该解释翻译成查询向量。在idf部分,你会如何申请
| {d' E D | t E d' }| ? ( I am using E to represent 'member of set').
在查询向量的情况下,即使词条是查询的一部分,但查询本身并不是语料库中的文档,因此上述规范化词条没有等价物。
向量空间模型方面的专家能解释一下吗?
【问题讨论】:
-
越想越觉得这个查询被简单的当成了一个附加文档。由于具有特定查询词的文档数量往往很高,因此再添加一个文档对规范化词的影响可以忽略不计。
标签: search vector lucene tf-idf