获取所有文档中前 100 个最常用的三个单词短语

Question

我有大约 15,000 个抓取的网站，其正文存储在弹性搜索索引中。我需要获取所有这些文本中最常用的 100 个三词短语：

类似这样的：

Hello there sir: 203
Big bad pony: 92
First come first: 56
[...]

我是新手。我研究了术语向量，但它们似乎适用于单个文档。所以我觉得这将是术语向量和聚合与各种 n-gram 分析的组合。但我不知道如何实现这一点。任何指针都会有所帮助。

我当前的映射和设置：

{
  "mappings": {
    "items": {
      "properties": {
        "body": {
          "type": "string",
          "term_vector": "with_positions_offsets_payloads",
          "store" : true,
          "analyzer" : "fulltext_analyzer"
         }
      }
    }
  },
  "settings" : {
    "index" : {
      "number_of_shards" : 1,
      "number_of_replicas" : 0
    },
    "analysis": {
      "analyzer": {
        "fulltext_analyzer": {
          "type": "custom",
          "tokenizer": "whitespace",
          "filter": [
            "lowercase",
            "type_as_payload"
          ]
        }
      }
    }
  }
}

Answer 1

您正在寻找的是带状疱疹。带状疱疹就像“单词 n-gram”：字符串中多个术语的连续组合。 （例如“我们都生活”、“都生活在”、“生活在一个”、“在黄色”、“黄色潜艇”）

看这里：https://www.elastic.co/blog/searching-with-shingles

基本上，您需要一个带有仅生成 3 项带状疱疹的带状疱疹分析仪的字段：

弹性博客文章配置，但具有：

"filter_shingle":{
   "type":"shingle",
   "max_shingle_size":3,
   "min_shingle_size":3,
   "output_unigrams":"false"
}

在将 shingle 分析器应用于相关字段（如博客文章中所述）并重新索引您的数据后，您应该能够发出返回简单 terms aggregation 的查询，在您的 body 字段中查看排名前 100 的 3 词短语。

{
  "size" : 0,
  "query" : {
    "match_all" : {}
  },
  "aggs" : {
    "three-word-phrases" : {
      "terms" : {
        "field" : "body",
        "size"  : 100  
      }
    }
  }
}