elasticsearch 术语聚合不正确答案

【问题标题】：elasticsearch terms aggregation incorrectelasticsearch 术语聚合不正确
【发布时间】：2020-10-30 04:17:30
【问题描述】：

我有一个存储字符串数组的字段。不同的文档包含不同的字符串集。

ex: "ftypes": ["PDF", "TXT", "XML"]

现在我使用这个聚合查询来分析每个文件类型的使用情况。

{
  "aggs": {
    "list": {
      "terms": {
        "field": "ftypes",
        "min_doc_count": 0,
        "size": 100000
      }
    }
  }
}

result ==>
{
    "took": 11,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 137265,
        "max_score": 0.0,
        "hits": []
    },
    "aggregations": {
        "list": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "PDF",
                    "doc_count": 134475
                },
                {
                    "key": "TXT",
                    "doc_count": 21312
                },
                {
                    "key": "XML",
                    "doc_count": 6597
                },
                {
                    "key": "JPG",
                    "doc_count": 1233
                }
            ]
        }
    }
}

结果如预期的那样正确。但最近我在删除 XML 文件支持后更新了这个字段。所以文档中没有文件类型为 XML。我可以从这个查询中确认。

{
  "query": {
    "terms": {
      "ftypes": ["XML"]
    }
  }
}

result ===>

{
    "took": 1,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 0,
        "max_score": null,
        "hits": []
    }
}

总点击数为零。奇怪的是，当我再次执行上述聚合查询时，我可以将 XML 视为一个术语。文档计数为零。

{
    "took": 11,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 137265,
        "max_score": 0.0,
        "hits": []
    },
    "aggregations": {
        "list": {
            "doc_count_error_upper_bound": 0,
            "sum_other_doc_count": 0,
            "buckets": [
                {
                    "key": "PDF",
                    "doc_count": 134475
                },
                {
                    "key": "TXT",
                    "doc_count": 21312
                },
                {
                    "key": "JPG",
                    "doc_count": 1233
                },
                {
                    "key": "XML",
                    "doc_count": 0
                }
            ]
        }
    }
}

如果它在任何文档中都不存在，那么这个 XML 术语现在来自哪里？是否有需要删除的缓存？

【问题讨论】：

你能添加每个查询的输出吗？
@Gibbs 结果现已包含在内
请查看此link。也许这会有所帮助。

标签： elasticsearch

【解决方案1】：

建议你参考this

ES 在后台使用 Lucene。他们被称为ghost terms。这里，XML 是索引中的幽灵术语。

用于查询评分的聚合词条统计信息仍将反映已删除的词条和文档。当合并完成时，术语统计数据会突然跳到更接近其真实值，从而改变命中分数。实际上，这种影响很小，除非删除的文档与索引的其余部分有不同的统计数据。

所有后续搜索都只是跳过任何已删除的文档。直到段被合并，被删除的文档消耗的字节才被回收。同样，仅在已删除文档中出现的任何术语（幽灵术语）在合并之前都不会被删除。

该链接有足够的理由进行此过程。

为避免输出中出现该术语，您需要设置min_doc_count:1，它将获取包含至少一个文档的文档

【讨论】：