AWS 上的高可用性定期任务 (cron)

Question

在 AWS 上设置高可用性（多个可用区）周期性任务（可能使用 Cron 触发）的推荐方式/模式是什么？

我希望将软件安装在多个可用区的多个 EC2 实例上，但一次只能在一个实例上运行任务。哪个实例都没有关系。

在迁移到 AWS 之前，我们曾经在 MySQL 实例中使用数据库锁定 - 只有成功创建锁的实例才会运行。

但是在 AWS 上一定有更好的方法吗？特别是在不需要数据库的情况下。

谢谢！

尼克。

Answer 1

自从我第一次提出这个问题以来，现在可以使用 CloudWatch Events 来安排定期事件。事件可以是：

• N 分钟/小时/天的固定速率
• Cron 表达式

目标可以是：

• AWS Lambda 函数
• 发布到 SNS 主题
• 写入 SQS 队列
• 写入 Kinesis 流
• 对 EC2/EBS 实例执行操作

然后可以使用 SQS 通知多个可用区中的机器集群中的单个实例执行操作。

这里有更多信息： https://docs.aws.amazon.com/AmazonCloudWatch/latest/DeveloperGuide/ScheduledEvents.html

虽然它不包括关于如果可用区出现故障会发生什么的弹性/可用性声明。

Answer 2

亚马逊刚刚发布了你的问题的解决方案：Beanstalk worker tier 周期性任务：

http://docs.aws.amazon.com/elasticbeanstalk/latest/dg/using-features-managing-env-tiers.html#worker-periodictasks

它基本上依赖于一个 yaml 文件，其中列出了调用您想要的 API 的 cron 计划：

要调用定期任务，您的应用程序源包必须在根级别包含一个 cron.yaml 文件。该文件必须包含有关您要安排的定期任务的信息。使用标准 crontab 语法指定此信息。

Answer 3

向我建议的一个建议解决方案是使用 Auto Scaling 组，将最大和最小实例数设置为 1。这意味着如果可用区脱机，ASG 将在另一个即将启动的区域。

Architecting on AWS 培训课程中简要介绍了该技术，但我不知道它的可靠性如何。

Answer 4

这真的取决于您的要求。

您可以将任务发布到 SQS 队列并让您的实例（可能是分布在不同区域的自动缩放组）轮询该队列。如果任务只执行一次对您来说至关重要，那么 SQS 的至少（并且通常只）一次语义在这里可能是一个问题。如果是这种情况，您可以轻松使用 DynamoDB 表和conditional writes。或者，如果您更喜欢成熟的容错解决方案，您可以试试airbnb chronos。