当数据量相对较少时，Elasticsearch 大型集群与小型集群答案

【问题标题】：Elasticsearch mega-cluster vs smaller clusters when you have relatively small amounts of data当数据量相对较少时，Elasticsearch 大型集群与小型集群
【发布时间】：2020-08-12 04:16:19
【问题描述】：

目前我们有 3 个独立的环境，有 4 个 Elasticsearch 集群。此外，我们有 2 个不同的用例，我们通过客户数据搜索相似之处，并且我们有搜索日志。

阅读 elasticsearch 文档和在线视频讨论，建议针对您的用例优化集群，所以从技术上讲，我们应该有 4 x 2 = 8 单独的集群。一些集群可以根据生产集群和非生产集群组合在一起。但实际上我们是一个小团队，3 x master nodes 成本太高。

尽管 Elastic 似乎建议每个用例使用一个集群，这样您就可以优化索引和分片大小 IMO 我相信如果我们只有 1 个集群，或者至少出现故障，我们会获得更好的性能和稳定性到 2（产品和非产品）。我们的维护开销也会减少我在每个环境中都会收到 CloudWatch 警报，有保存的对象需要从一个环境转移到另一个环境，我已经成为管理所有这一切的人，最终创建了分配死的努力。

所以我的问题是，即使应该根据用例调整集群以获得最佳实践，但当您的数据只有几个 GiB 时，这仍然有意义吗？考虑到管理开销，以及与没有主节点的微集群的稳定性权衡？

【问题讨论】：

标签： amazon-web-services elasticsearch aws-elasticsearch

【解决方案1】：

ES 集群由节点（最重要的是数据和主节点）组成，它不像您只能在集群级别进行优化，您可以根据您的用例轻松微调索引和分片级别。

在您的情况下，您没有太多数据，因此只有 2 个 env（prod 和 non-prod env。）以避免集群管理开销并应用最佳实践（例如拥有 3 个主节点）可用性原因。

当涉及到根据您的索引所要处理的数据和用例进行优化时，您可以对其进行优化，例如对于读取繁重的索引，拥有更多副本和索引繁重的操作是有意义的，您可能想要将 refresh_interval(def 1 sec) 增加到更高的值。

【讨论】：

感谢您的提示，refresh_inferval 是什么？
@Snickers3192 希望您喜欢它，请参考elastic.co/guide/en/elasticsearch/reference/master/… 了解有关 refresh_interval 的更多信息，在我提供的链接中，您可以找到有关优化索引以及搜索和索引速度的更多信息。