ElasticSearch 性能：连续读/写与批量写入

Question

我是弹性搜索的新手。我需要实施一个系统，我将全天连续获取数据。我想让这个数据提要可搜索，所以我使用 ElasticSearch。

现在，我有两种方法可以解决这个问题： 1) 将提要中的数据存储在 mongo 中。并定期将此数据提供给 ElasticSearch，假设每天两次。 2) 直接将数据馈送到 ElasticSearch，这是一个连续的过程。同时 ElasticSearch 必须执行搜索查询。

我预计每秒大约 20 个条目来自数据馈送，并且 ElasticSearch 每秒执行大约 2-3 个查询。

请指教。

Answer 1

你应该优化你的索引结构和应用程序代码：

1. 为每一天创建单独的索引
2. 增加分片数量（你 应该根据您的硬件配置进行试验）
3. 对于老 天索引，您应该关闭它们或聚合成大周期 （另一个月份的索引）使用一些批处理

根据我的测试，每秒 20 次插入对于 elasticsearch 来说并不是很大的负载

Answer 2

您能告诉我们更多关于您的集群架构的信息吗？多少个节点？所有节点都有数据还是网关节点？ 通常我会说直接喂给 elasticsearch 应该不是问题。每秒 2-3 次查询对于 elasticsearch 来说根本不算多。