Elasticsearch：查找具有不同值的文档，然后对它们进行聚合

Question

我的索引具有类似日志的结构：每当事件发生时，我都会插入一个文档版本。例如，这里是索引中的文档：

{ "key": "a", subkey: 0 }
{ "key": "a", subkey: 0 }
{ "key": "a", subkey: 1 }
{ "key": "a", subkey: 1 }
{ "key": "b", subkey: 0 }
{ "key": "b", subkey: 0 }
{ "key": "b", subkey: 1 }
{ "key": "b", subkey: 1 }

我正在尝试在 ElasticSearch 中构造一个查询，它基本上等同于以下 SQL 查询：

SELECT COUNT(*), key, subkey
FROM (SELECT DISTINCT key, subkey FROM t)

这个问题的答案显然是

(1, a, 0)
(1, a, 1)
(1, b, 0)
(1, b, 1)

如何在 Elasticsearch 中复制此查询？我想出了以下几点：

GET test_index/test_type/_search?search_type=count
{
  "aggregations": {
    "count_aggr": {
      "terms": {
        "field": "concatenated_key"
      },
      "aggs": {
        "sample_doc": {
          "top_hits": {
            "size": 1
          }
        }
      }
    }
  }
}

concatenated_key 是key 和subkey 的串联。此查询将为每个（键、子键）组合创建一个存储桶，并从每个存储桶返回一个示例文档。但是，我不知道如何聚合_source 的字段。

将不胜感激任何想法。谢谢！

Answer 1

如果您无法重新索引文档并添加您自己的连接键字段，这是一种方法：

GET /my_index/my_type/_search?search_type=count
{
  "aggs": {
    "key_agg": {
      "terms": {
        "field": "key",
        "size": 10
      },
      "aggs": {
        "sub_key_agg": {
          "terms": {
            "field": "subkey",
            "size": 10
          }
        }
      }
    }
  }
}

它会给你这样的东西：

     "buckets": [
        {
           "key": "a",
           "doc_count": 4,
           "sub_key_agg": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 0,
              "buckets": [
                 {
                    "key": 0,
                    "doc_count": 2
                 },
                 {
                    "key": 1,
                    "doc_count": 2
                 }
              ]
           }
        },
        {
           "key": "b",
           "doc_count": 4,
           "sub_key_agg": {
              "doc_count_error_upper_bound": 0,
              "sum_other_doc_count": 0,
              "buckets": [
                 {
                    "key": 0,
                    "doc_count": 2
                 },
                 {
                    "key": 1,
                    "doc_count": 2
                 }
              ]
           }
        }
     ]

您拥有密钥的位置 - "key": "a" - 然后是与此密钥的每个组合以及与 key=a 和 subkey=0 或 key=a 和 subkey=1 匹配的文档数：

             "buckets": [
                 {
                    "key": 0,
                    "doc_count": 2
                 },
                 {
                    "key": 1,
                    "doc_count": 2
                 }
              ]

另一个键也是如此。