Elasticsearch：具有大型文档（PDF，doc，txt）的索引的搜索性能很慢

Question

我在使用 mapper-attachment 的弹性搜索中有 65000 个文档（pdf、docx、txt、..etc）索引。现在我想使用以下查询搜索该存储文档中的内容：

"from" : 0, "size" : 50,
"query": {
    "match": {
        "my_attachment.content": req.params.name
     }
}

但结果需要 20-30 秒。这是非常缓慢的反应。那么我该怎么做才能快速响应？有什么想法吗？

这里是映射：

"my_attachment": {
                  "type": "attachment",
                  "fields": {
                     "content": {
                        "type": "string",
                        "store": true,
                        "term_vector": "with_positions_offsets"
                     }
                 }
}

Answer 1

由于您的机器有 4 个 CPU 和索引 5 个分片，我建议切换到 4 个主分片，这意味着您需要重新索引。采用这种方法的原因是，在任何给定时间，一次查询的执行都将使用 4 个内核。对于其中一个分片，查询需要等待。要在查询时平均分配负载，请使用 4 个主分片（=CPU 内核数），这样当您运行查询时，CPU 级别的争用不会过多。

此外，通过提供curl localhost:9200/your_documents_index/_stats 的输出，我看到“获取”部分（从分片中检索文档）平均每次操作需要 4.2 秒。这可能是由于拥有非常大的文档或检索了大量文档的结果。 size: 50 不是一个很大的数字，但结合大文档会使查询返回结果的时间更长。

content 字段（其中包含实际文档的字段）具有 store: true，如果您想要突出显示，文档说明

为了执行突出显示，需要字段的实际内容。如果存储了相关字段（在映射中将store 设置为true），则将使用该字段，否则将加载实际的_source，并从中提取相关字段。

因此，如果您没有为索引禁用_source，那么将使用该索引并且不需要存储内容。此外，更快的获取也没有什么魔力，它与您的文档有多大以及您想要检索多少密切相关。不使用store: true 可能会稍微缩短时间。

从节点统计信息 (curl -XGET "http://localhost:9200/_nodes/stats") 来看，没有迹象表明该节点存在内存或 CPU 问题，所以一切都归结为我之前的建议。