【发布时间】:2021-01-08 12:59:05
【问题描述】:
我在 AWS 上有一个由 4 个 EC2 Elasticsearch(版本 7.7.1)节点组成的集群(包括一个主节点)。 每天都会对所有索引进行快照(增量)。
这个集群建立在“I”型ec2上,具有良好的读/写性能,存储是易失的:在集群崩溃的情况下,所有数据都消失了。这不是我现在可以改变的。
我通过终止实例来模拟集群崩溃,并在我恢复每日快照之前重建集群。
我找不到在新集群上加速快照恢复的方法。 我工作的客户需要 14 天的集群数据。快照是每日增量的,这意味着我必须每天恢复 14 个快照才能恢复我的所有数据。我无法进行一次完全恢复。
在每次恢复时,都会根据复制策略 (1:1) 在节点之间重新平衡数据。在恢复和集群状态为绿色之间,我必须等待很长时间。对于 500Go 的数据(与我们估计未来的数据相比,这不算什么):我花了 2 个多小时来恢复我的所有快照。
在此过程中,必须关闭所有索引,但恢复快照会打开一些索引,因此我必须在恢复每个快照之前将它们全部关闭... Kibana 和 Logstash 正在向集群发送/侦听,因此我必须停止它们才能安静地恢复我的快照。
有什么办法可以改善吗?我找不到一次恢复多个快照的方法。 我应该在恢复过程中停止重新平衡吗?
我很惊讶我找不到任何东西,我一定错过了一些重要的东西:/ 有任何想法或经验反馈吗? 非常感谢!
【问题讨论】:
标签: amazon-web-services elasticsearch restore snapshot