【问题标题】:AWS ElasticSearch - Automating manual snapshotsAWS ElasticSearch - 自动化手动快照
【发布时间】:2021-03-02 10:22:45
【问题描述】:

要求 - 客户需要一种自动化机制,该机制每天获取 AWS ElasticSearch 域(生产)的manual snapshot。快照的目标是 AWS S3 存储桶。

预期流量

  1. 每天凌晨 2 点安排 --> 开始进程 --> 拍摄快照 --> 等待 5 分钟 --> 检查快照状态(成功/进行中/失败)
  2. 如果state==IN_PROGRESS,再次检查快照状态,最多10次,间隔5分钟
    • state==SUCCESS - 结束进程(成功)
    • state==IN_PROGRESS - 当达到 10 次重试(50 分钟)时,结束进程(失败)
    • state==FAILED - 结束进程(失败)
  3. 如果上一步失败,发送推送通知(Slack/Teams/Email/等)

动机 - AWS 拍摄的自动快照可用于灾难恢复或升级失败,如果有人意外(是的,它发生了)删除了整个ElasticSearch 集群。

尚未找到满足要求的开箱即用 Lambda/机制。建议?想法?

p.s- 我在 VPC 中使用 AWS Step Functions + Lambda 进行了 POC,这似乎可行,但我更愿意使用托管服务或活的开源项目。

【问题讨论】:

  • 使用cloud.elastic.co怎么样?它具有自动备份功能,可在 AWS(和其他)上运行,并且是 Elastic Stack 制造商支持的官方服务。你也可以从aws.amazon.com/marketplace/pp/…获取它
  • 听起来很有趣,但这意味着我需要将当前的 ElasticSearch 实例迁移到这个解决方案,而不是我倾向于做的事情:\ 我需要一些适合我当前设置的东西跨度>
  • 不确定是否有帮助,但这里有一个指南:elastic.co/guide/en/cloud/current/ec-migrate-from-aws.html
  • 谢谢 dadoonet,我最终创建了一个使用 AWS Step Functions 自动完成的管道

标签: amazon-web-services elasticsearch snapshot retention


【解决方案1】:

如果您不小心删除了您的 AWS Elasticsearch 域,AWS Support 可以帮助您恢复该域及其最新快照尽最大努力。这未在文档中列出,因为理想情况下这不应该是您的第一个赌注。

假设这将是罕见的情况,你应该没问题。但是,如果您认为您的 AWS ES 集群很有可能一次又一次地被删除,那么您最好设置一个 lambda 函数来将最新的快照保存在您自己的 S3 存储桶中。这也将使您免于依赖 AWS 支持。

【讨论】:

    【解决方案2】:

    AWS Elasticsearch 具有意外删除保护。如果您错误地删除了您的域,AWS elasticsearch 可以在 14 天内将其恢复。 希望这能解决您的目的。

    【讨论】:

    • 你能分享一个链接吗?没找到
    • 我建议就此与 AWS 客户支持进行交流。
    猜你喜欢
    • 2017-08-23
    • 1970-01-01
    • 1970-01-01
    • 2018-04-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-08
    • 1970-01-01
    相关资源
    最近更新 更多