ElasticSearch 大量清除已删除文件的原因？（AWS ES 服务）答案

【问题标题】：ElasticSearch massive purge of deleted documents reasons? (AWS ES service)ElasticSearch 大量清除已删除文件的原因？（AWS ES 服务）
【发布时间】：2019-11-01 09:49:47
【问题描述】：

是否有任何信息 ES 何时以及为什么会触发自动清除标记为删除的文档？

在哪里可以找到包含有关触发器的可能信息的日志？

有问题的服务实际上是AWS ES，但我认为它与主题无关..可能是我错了吗？

有问题的版本是ElasticSearch 5.1

【问题讨论】：

标签： amazon-web-services elasticsearch aws-elasticsearch

【解决方案1】：

当合并发生时，标记的文档将被清除。有一些合并策略指示合并过程何时触发。例如，segment的文件数量超过300个或标记的文档超过segment的15%。这里有一些关于 elasticsearch 1.4 的信息： https://www.elastic.co/guide/en/elasticsearch/reference/1.4/index-modules-merge.html

似乎开发商不想再澄清政策了。

这是合并策略设置的示例：

  "merge": {
    "scheduler": {
      "max_thread_count": "1",
      "auto_throttle": "true",
      "max_merge_count": "6"
    },
    "policy": {
      "reclaim_deletes_weight": "2.0",
      "floor_segment": "2mb",
      "max_merge_at_once_explicit": "30",
      "max_merge_at_once": "10",
      "max_merged_segment": "5gb",
      "expunge_deletes_allowed": "10.0",
      "segments_per_tier": "10.0",
      "deletes_pct_allowed": "33.0"
    }

对于记录合并过程，我认为您应该将日志级别更改为 INFO 或 DEBUG。（log4j 设置）

【讨论】：