Elasticsearch：从分析字段的搜索结果中删除重复项

Question

我的索引中有如下条目：

 ID   BuildingName  Postalcode Type
  1   ABCD             1234     1
  2   ABCD             7890     1

我需要删除出现在“BuildingName”字段中的重复项在搜索时（不是在索引中，因为您看到它们是两个不同的条目）。最后我只想看到（任何带有搜索名称的建筑物）

ID   BuildingName  Postalcode Type
  1   ABCD             1234     1

为什么我不能使用此处所述的字段折叠/聚合 (Remove duplicate documents from a search in Elasticsearch) -> 因为我需要对 BuildingName 进行 n-gram 分析，并且字段折叠/聚合仅适用于未分析的字段。

有什么方法可以做到这一点？ 所有帮助表示赞赏！谢谢！

Answer 1

向BuildingName 字段添加一个子字段，该字段应为not_analyzed 或使用keyword 之类的分析器进行分析，该分析器不应过多地更改文本。当您搜索 nGram-ed 的普通 BuildingName 字段时，会在未更改的子字段上执行聚合：

• 映射：

  "mappings": {
    "test": {
      "properties": {
        "BuildingName": {
          "type": "string",
          "analyzer": "my_ngram_analyzer",
          "fields": {
            "notAnalyzed": {
              "type": "string",
              "index": "not_analyzed"
            }
          }
        }
      }
    }
  }

• 查询：

{
  "query": {
    "term": {
      "BuildingName": {
        "value": "ab"
      }
    }
  },
  "aggs": {
    "unique": {
      "terms": {
        "field": "BuildingName.notAnalyzed",
        "size": 10
      },
      "aggs": {
        "sample": {
          "top_hits": {
            "size": 1
          }
        }
      }
    }
  }
}