Elasticsearch 搜索的多样化结果

Question

我使用流行度完成了一个复杂的查询，以改进使用 Elasticsearch 的社交媒体文档的结果。 查询运行良好，排名靠前的结果始终以查询为中心并包含有趣的元素。

但是它有一个问题，对于某些查询，第一个结果都来自同一个用户。

如果在更高级别的文档中检索到同一用户，我想降分文档。通过这种方式，我希望结果更加多样化。

请注意，我不希望它们被删除，因为在某些情况下，查找同一用户的更多文档可能仍然很有趣，但我希望它们处于较低的位置。

任何人都可以提出一种使它工作的方法吗？

---

根据某些 cmets 的建议，我更新了我的查询（简化版）：

query = {"function_score": {
  "functions": [
    {"gauss": {"createdAt":
        {"origin": "now", "scale": "30d", "offset": "7d", "decay" :0.9 } 
    }},
    {"gauss": {"shares.last.twitter_retweets_log":
        {"origin": 4.52, "scale": 2.61, "decay" : 0.9} 
    }},
  ],
  "query": {"bool":{"must":[
    {"exists":{"field": "images"}},
    {"multi_match":{"query": "foo boo", fields:["text", "link.title"]}}
  ]}},
  "score_mode": "multiply"
}};

---

P.S：一些文件可能很有趣，因为他们谈论多样性，但我不知道如何申请：

• https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-sampler-aggregation.html?q=sampler
• https://lucene.apache.org/core/5_1_0/misc/org/apache/lucene/search/DiversifiedTopDocsCollector.html

Answer 1

您可以将采样器与top_hits 聚合耦合以获得多样化的结果。

{
    "query": {
        "match": {
            "query": "iphone"
        }
    },
    "size":0,
    "aggs": {
        "sample": {
            "sampler": {
                "shard_size": 200,
                "field" : "user.id"                
            },
            "aggs": {
                "diversifiedMatches": {
                    "top_hits": {
                        "size":10
                    }
                }
            }
        }
    }
}

有一些注意事项，例如：

1) 重复数据删除是每个分片而不是全局

2) 多元化字段选择必须是单值字段

3) 不支持分页

4) 不支持对分数以外的任何内容进行排序

解决上述问题将很困难，并且需要在内部进行昂贵/复杂的协调，以及客户关于何时何地可以重新引入“重复”结果的更多指导（第 2 页？第 3 页？有多少？）等等