Elasticsearch Vs MongoDB Aggregation - 开发对比与示例

Question

我正在 NodeJS 平台中将 MongoDB Query 转换为 Elasticsearch。在开发过程中，我在使用 Elasticsearch Query 中的分组和过滤数据（获取嵌套对象，如 hits.hits._source）时遇到了一些困难，就像我们在 MongoDB Query 中所做的那样。

例子：-

UserModel.aggregate([
    {
        $match: {
            uId: req.body.uId, timestamp: { $gte: req.body.date, $lte: new Date() }
        },
    },
    {
        $group: {
            _id: "$eId",
            location: {
                $push: {
                    time: "$timestamp", lat: "$lat"
                }
            },
            timestamp: {
                $push: "$timestamp"
            },
            testId: { $first: "$testId" },
        }
    },
    {
        $project: {
            eId: 1, location: 1, testId: 1, max: { $max: "$timestamp" }
        }
    },
    { $unwind: { path: "$location", preserveNullAndEmptyArrays: true } },
    {
        $redact: {
            $cond: {
                if: { $eq: ["$location.time", "$max"] },
                then: "$$DESCEND",
                else: "$$PRUNE"
            }
        }
    },
    {
        $project: {
            eId: 1, latitude: "$location.lat", testId: 1
        }
    },
]).exec(function (err, result) {
    console.log(result)
});

Elasticsearch 中的等效查询是什么？ 我正在寻找具有最小嵌套响应的分组、展开和投影（MongoDB 概念到 Elasticsearch）所需数据的解决方案。 提前致谢。

编辑：-

添加 Elasticsearch 文档：-

{
          "timestamp": "2019-10-08T:02:50:15.54Z",
          "status" : 1,
          "eId": "5d5d7ce0c89852e7bad4a407",
          "location": [
            2.000,
            34.5664111801
          ],
          "zId": "5d5d7ce0c89852e7bad4a4ef"
},
{
          "timestamp": "2019-10-09T:02:50:15.54Z",
          "status" : 1,
          "eId": "5d5d7ce0c89852e7bad4a408",
          "location": [
            2.100,
            35.5664111801
          ],
          "zId": "5d5d7ce0c89852e7bad4a4ef"
},
{
          "timestamp": "2019-10-09T:03:50:15.54Z",
          "status" : 1,
          "eId": "5d5d7ce0c89852e7bad4a407",
          "location": [
            4.100,
            35.5664111801
          ],
          "zId": "5d5d7ce0c89852e7bad4a4ef"
},
{
          "timestamp": "2019-10-09T:03:40:15.54Z",
          "status" : 1,
          "eId": "5d5d7ce0c89852e7bad4a407",
          "location": [
            2.100,
            35.5664111801
          ],
          "zId": "5d5d7ce0c89852e7bad4a4e1"
},
{
          "timestamp": "2019-10-10T:03:40:15.54Z",
          "status" : 1,
          "eId": "5d5d7ce0c89852e7bad4a407",
          "location": [
            3.100,
            35.5664111801
          ],
          "zId": "5d5d7ce0c89852e7bad4a4e1"
}

1. 匹配状态 =1，并按 eId 分组
2. 根据该结果，按时间戳分组并获取最大时间戳值

预期结果：-

[
        {
            "_id": "5d5d7ce0c89852e7bad4a407",
            "max": "2019-10-10T:03:40:15.54Z", // max timestamp
            "zId": [
                "5d5d7ce0c89852e7bad4a4e1",
                "5d5d7ce0c89852e7bad4a4ef"
            ]
        },
        {
            "_id": "5d5d7ce0c89852e7bad4a408",
            "max": "2019-10-09T:02:50:15.54Z",
            "zId": [
                "5d5d7ce0c89852e7bad4a4ef"
            ]
        }, // ...etc 

    ]

Answer 1

感谢您的文件。可悲的是，我不知道有什么方法可以只检索具有最大时间戳字段值的文档。

以下查询将允许您按status 过滤并按eId 分组，然后获取最大时间戳值，但它不会返回具有最大时间戳值的文档。

{
    "size": 0,
    "query": {
        "term": {
            "status": 1
        }
    },
    "aggregations": {
        "eId_group": {
            "terms": {
                "field": "eId"
            },
            "aggregations": {
                "max_timestamp": {
                    "max": {
                        "field": "timestamp"
                    }
                }
            }
        }
    }
}

第二个查询使用top_hits 聚合来检索按eId 分组的文档。返回的文档按时间戳值递减排序，因此具有最大时间戳的文档将是第一个，但您也可能获得具有不同时间戳的文档。

{
    "size": 0,
    "query": {
        "term": {
            "status": 1
        }
    },
    "aggregations": {
        "eId_group": {
            "terms": {
                "field": "eId"
            },
            "aggregations": {
                "max_timestamp": {
                    "max": {
                        "field": "timestamp"
                    }
                },
                "top_documents": {
                    "top_hits": {
                        "size": 20,
                        "sort": { "timestamp": "desc"}
                    }
                }
            }
        }
    }
}

我对索引使用了以下映射

PUT /test_index
{
    "mappings": {
        "properties": {
            "timestamp": {
                "type": "date"
            },
            "eId": {
                "type": "keyword"
            },
            "zId": {
                "type": "keyword"
            },
            "status": {
                "type": "keyword"
            }
        }
    }
}