Elasticsearch 日期直方图

Question

我在@timestamp 字段上使用弹性搜索日期直方图聚合。这是查询的一部分：

'stats': {
    'date_histogram': {
        'field': '@timestamp',
        'interval': '1h',
        'format': 'yyyy-MM-dd H:m:s'
    }
}

和@timestamp的映射：

"@timestamp": {
    "type": "date"
}

我的时间间隔是1h。但我还需要从时间戳中提取分钟信息，而不对1m 执行聚合。我试图指定键的字符串表示的格式。我得到以下输出：

'key_as_string': '2020-11-07 10:0:0'
'key': 1604743200000

有没有办法在聚合结果中包含分钟？在key 或key_as_string？

一个@timestamp在es中索引的例子：

'@timestamp': '2020-12-09T13:50:46.056000Z'

Answer 1

直方图值是rounded down到最近的桶，遵循公式

bucket_key = Math.floor(value / interval) * interval

虽然如果您在任何给定的存储桶中有精确的一个值，显示确切的分钟数似乎很有用，但直方图通常聚合一堆值，因此它不会当我们处理每小时间隔时，谈论基于分钟的存储桶键真的很有意义。

话虽如此，日期直方图确实接受子聚合，因此如果您想以所需格式检索单个文档的 @timestamps，您可以使用 top_hits 聚合script_fields:

{
  "size": 0,
  "aggs": {
    "stats": {
      "date_histogram": {
        "field": "@timestamp",
        "interval": "1h",
        "format": "yyyy-MM-dd H:m:s"
      },
      "aggs": {
        "concrete_values": {
          "top_hits": {
            "script_fields": {
              "ts_with_minutes": {
                "script": {
                  "source": "LocalDateTime.ofInstant(Instant.ofEpochMilli(doc['@timestamp'].value.millis), ZoneId.of('UTC')).format(DateTimeFormatter.ofPattern('yyyy-MM-dd H:m:s'))"
                }
              }
            },
            "size": 10
          }
        }
      }
    }
  }
}

或者，您可能还对按分钟分组的最常出现的时间戳感兴趣（秒从format中省略）：

{
  "size": 0,
  "aggs": {
    "stats": {
      "date_histogram": {
        "field": "@timestamp",
        "interval": "1h",
        "format": "yyyy-MM-dd H:m:s"
      },
      "aggs": {
        "most_represented_timestamps": {
          "terms": {
            "field": "@timestamp",
            "format": "yyyy-MM-dd H:m",
            "size": 10
          }
        }
      }
    }
  }
}