【问题标题】:exact definition of query vector in vector space model向量空间模型中查询向量的精确定义
【发布时间】:2014-02-01 22:03:59
【问题描述】:

维基百科对向量空间模型给出了很好的解释。

http://en.wikipedia.org/wiki/Vector_space_model

除了它跳过了一个对我来说不是自我解释的部分。这就是查询向量的定义。正文以

开头
d_j = ( w_{1,j} ,w_{2,j} , .... ,w_{t,j} )   // document vector
q = ( w_{1,q} ,w_{2,q} , ... ,w_{t,q} )    // query vector

并继续解释 d_j 如何根据 tf-idf 定义为语料库中的文档。没关系,但我无法将该解释翻译成查询向量。在idf部分,你会如何申请

| {d' E D | t E d' }| ? ( I am using E to represent 'member of set'). 

在查询向量的情况下,即使词条是查询的一部分,但查询本身并不是语料库中的文档,因此上述规范化词条没有等价物。

向量空间模型方面的专家能解释一下吗?

【问题讨论】:

  • 越想越觉得这个查询被简单的当成了一个附加文档。由于具有特定查询词的文档数量往往很高,因此再添加一个文档对规范化词的影响可以忽略不计。

标签: search vector lucene tf-idf


【解决方案1】:

VSM 背后的一个关键思想是,我们将查询和文档都简单地视为位于同一空间中的“词袋”。这意味着为了创建查询向量,我们也可以将其视为文档,因此语料库的 idf 也可以用于此。

需要注意的是,有多种评分方案,查询向量的评分方案不必与文档向量的评分方案相匹配。

这里有一个很好的解释: http://nlp.stanford.edu/IR-book/html/htmledition/queries-as-vectors-1.html

我认为阅读完整的第 6 章对理解 VSM 很有帮助,如果你有兴趣,后面的章节会有更高级的主题。

【讨论】:

    猜你喜欢
    • 2019-05-04
    • 2015-09-11
    • 2019-10-18
    • 1970-01-01
    • 2015-03-25
    • 2011-03-22
    • 2012-12-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多