每天约 200G 日志的 Elasticsearch 集群设计

Question

我创建了具有 4 个数据节点、3 个主节点、一个客户端节点 (kibana) 的 ES 集群（版本 5.4.1）。

数据节点是 r4.2xlarge aws 实例（61g 内存，8vCPU），为 ES JAVA 分配了 30G 内存。

我们每天要写入大约 200G 的日志，并保留过去 14 天。

我正在寻找对我们集群的建议，以提高集群性能，尤其是搜索性能（kibana）。

更多数据节点？更多的客户端节点？更大的节点？更多复制品？任何可以提高性能的东西都是一种选择。

有没有人有接近这个设计或负载的东西？ 我很高兴听到有关其他设计和负载的信息。

谢谢， 摩西

Answer 1

1. 您使用了多少个分片？默认为 5？这甚至会是一个相当不错的数字。取决于你问谁，一个分片应该在 10G 到 50G 之间；日志用例可能在 50GB 方面。
2. 您希望加快哪些查询？他们主要针对近期数据还是长时间跨度？如果您主要对最近的数据感兴趣，您可以在热温架构中使用不同的节点类型。具有最近数据和较少数据的节点具有更大的权力；功能较弱的节点上的大量较旧且访问频率较低的数据。
3. 通常您需要找到您的瓶颈。我会得到免费的monitoring plugin，看看 Kibana 和 Elasticsearch 的表现如何。

大胆猜测：你的 IO 是有限的。优先使用本地磁盘而不是 EBS，更喜欢 SSD 而不是旋转磁盘，如果可以的话，为该用例获得尽可能多的 IOPS。