聚合中的弹性同义词使用

Question

情况：

使用的弹性版本：2.3.1

我有一个像这样配置的弹性索引

PUT /my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_synonym_filter": {
          "type": "synonym", 
          "synonyms": [ 
            "british,english",
            "queen,monarch"
          ]
        }
      },
      "analyzer": {
        "my_synonyms": {
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_synonym_filter" 
          ]
        }
      }
    }
  }
}

这很好，当我查询文档并使用查询词“english”或“queen”时，我会得到所有与 british 匹配的文档> 和君主。当我在过滤器聚合中使用同义词时，它不起作用。例如

在我的索引中，我有 5 个文档，其中 3 个有 monarch，其中 2 个有 Queen

POST /my_index/_search
{
  "size": 0,
  "query" : {
      "match" : {
         "status.synonym":{
            "query": "queen",
            "operator": "and"
         }
      }
   },
     "aggs" : {
        "status_terms" : {
            "terms" : { "field" : "status.synonym" }
        },
        "monarch_filter" : {
            "filter" : { "term": { "status.synonym": "monarch" } }
        }
    },
   "explain" : 0
}

结果产生：

总点击量：

• 5 文档计数（正如预期的那样，太棒了！）
• 状态条款：女王的 5 个文档计数（正如预期的那样，太棒了！）
• Monarch 过滤器：0 文档计数

我尝试了不同的同义词过滤器配置：

• 王后，君主
• 女王，君主 => 女王
• 女王，君主 => 女王，君主

但上述并没有改变结果。我想得出结论，也许您只能在查询时使用过滤器，但是如果术语聚合有效，为什么不应该过滤，因此我认为我的同义词过滤器配置是错误的。可以找到更广泛的同义词过滤器示例here。

问题：

如何在过滤聚合中使用/配置同义词？

复制上述案例的示例： 1. 创建和配置索引：

PUT /my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_synonym_filter": {
          "type": "synonym",
          "synonyms": [
            "wlh,wellhead=>wellwell"
          ]
        }
      },
      "analyzer": {
        "my_synonyms": {
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_synonym_filter"
          ]
        }
      }
    }
  }
}

PUT my_index/_mapping/job
{
  "properties": {
    "title":{
      "type": "string",
      "analyzer": "my_synonyms"
    }
  }
}

2.放两个文件：

PUT my_index/job/1
{
    "title":"wellhead smth else"
}

PUT my_index/job/2
{
    "title":"wlh other stuff"
}

3.对 wlh 执行搜索，应该返回 2 个文档；有一个术语聚合，它应该有 2 个 wellwell 文档和一个不应该有 0 计数的过滤器：

POST my_index/_search
{
  "size": 0,
  "query" : {
      "match" : {
         "title":{
            "query": "wlh",
            "operator": "and"
         }
      }
   },
     "aggs" : {
        "wlhAggs" : {
            "terms" : { "field" : "title" }
        },
        "wlhFilter" : {
            "filter" : { "term": { "title": "wlh"     } }
        }
    },
   "explain" : 0
}

这个查询的结果是：

   {
   "took": 8,
   "timed_out": false,
   "_shards": {
      "total": 5,
      "successful": 5,
      "failed": 0
   },
   "hits": {
      "total": 2,
      "max_score": 0,
      "hits": []
   },
   "aggregations": {
      "wlhAggs": {
         "doc_count_error_upper_bound": 0,
         "sum_other_doc_count": 0,
         "buckets": [
            {
               "key": "wellwell",
               "doc_count": 2
            },
            {
               "key": "else",
               "doc_count": 1
            },
            {
               "key": "other",
               "doc_count": 1
            },
            {
               "key": "smth",
               "doc_count": 1
            },
            {
               "key": "stuff",
               "doc_count": 1
            }
         ]
      },
      "wlhFilter": {
         "doc_count": 0
      }
   }
}

这就是我的问题，wlhFilter 中应该至少有 1 个文档计数。

Answer 1

我的时间很短，所以如果需要，我可以在今天/明天晚些时候再详细说明。但以下应该有效：

DELETE /my_index
PUT /my_index
{
  "settings": {
    "analysis": {
      "filter": {
        "my_synonym_filter": {
          "type": "synonym", 
          "synonyms": [ 
            "british,english",
            "queen,monarch"
          ]
        }
      },
      "analyzer": {
        "my_synonyms": {
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_synonym_filter" 
          ]
        }
      }
    }
  },
  "mappings": {
    "test": {
      "properties": {
        "title": {
          "type": "text",
          "analyzer": "my_synonyms",
          "fielddata": true
        }
      }
    }
  }
}
POST my_index/test/1
{
  "title" : "the british monarch"
}

GET my_index/_search
{
  "query": {
    "match": {
      "title": "queen"
    }
  }
}

GET my_index/_search
{
  "query": {
    "match": {
      "title": "queen"
    }
  }, 
  "aggs": {
    "queen_filter": {
      "filter": {
        "term": {
          "title": "queen"
        }
      }
    },
    "monarch_filter": {
      "filter": {
        "term": {
          "title": "monarch"
        }
      }
    }
  }
}

能否分享您为status.synonym 字段定义的映射？

编辑：V2

您的过滤器输出为 0 的原因是因为 Elasticsearch 中的过滤器从不经过分析阶段。它适用于精确匹配。

聚合中的标记“wlh”不会被转换为“wellwell”，这意味着它不会出现在倒排索引中。这是因为，在索引期间，您的“wlh”被翻译成“wellwell”。 为了达到您想要的效果，您必须将数据索引到一个单独的字段中并相应地调整您的过滤器。

你可以试试这样的：

DELETE my_index
PUT /my_index
{
  "settings": {
    "number_of_shards": 1, 
    "number_of_replicas": 0, 
    "analysis": {
      "filter": {
        "my_synonym_filter": {
          "type": "synonym",
          "synonyms": [
            "wlh,wellhead=>wellwell"
          ]
        }
      },
      "analyzer": {
        "my_synonyms": {
          "tokenizer": "standard",
          "filter": [
            "lowercase",
            "my_synonym_filter"
          ]
        }
      }
    }
  },
  "mappings": {
    "job": {
      "properties": {
        "title": {
          "type": "string",
          "fields": {
            "synonym": {
              "type": "string",
              "analyzer": "my_synonyms"
            }
          }
        }
      }
    }
  }
}

PUT my_index/job/1
{
    "title":"wellhead smth else"
}

PUT my_index/job/2
{
    "title":"wlh other stuff"
}

POST my_index/_search
{
  "size": 0,
  "query": {
    "match": {
      "title.synonym": {
        "query": "wlh",
        "operator": "and"
      }
    }
  },
  "aggs": {
    "wlhAggs": {
      "terms": {
        "field": "title.synonym"
      }
    },
    "wlhFilter": {
      "filter": {
        "term": {
          "title": "wlh"
        }
      }
    }
  }
}

输出：

{
  "aggregations": {
    "wlhAggs": {
      "doc_count_error_upper_bound": 0,
      "sum_other_doc_count": 0,
      "buckets": [
        {
          "key": "wellwell",
          "doc_count": 2
        },
        {
          "key": "else",
          "doc_count": 1
        },
        {
          "key": "other",
          "doc_count": 1
        },
        {
          "key": "smth",
          "doc_count": 1
        },
        {
          "key": "stuff",
          "doc_count": 1
        }
      ]
    },
    "wlhFilter": {
      "doc_count": 1
    }
  }
}

希望这会有所帮助！

Answer 2

所以在下面@Byron Voorbach 和他的 cmets 的帮助下，这是我的解决方案：

• 我创建了一个单独的字段，我在上面使用同义词分析器，如 反对拥有一个属性字段 (mainfield.property)。
• 最重要的问题是我的同义词被压缩了！我 有，例如，英国，英语=>英国。将其更改为 英国，英语，英国解决了我的问题，过滤器聚合是 返回正确数量的文档。

希望这对某人有所帮助，或者至少指向正确的方向。

编辑： 哦，上帝赞美文档！我完全解决了我的过滤器（S！）聚合问题（链接here）。在过滤器配置中，我指定了匹配类型的查询并且它有效！最终得到这样的结果：

"aggs" : {
    "messages" : {
      "filters" : {
        "filters" : {
          "status" :   { "match" : { "cats.saurus" : "monarch"   }},
          "country" : { "match" : { "cats.saurus" : "british" }}
        }
      }
    }
  }