如何在 AWS 上设置时间安排的无服务器 python 作业？

Question

我想使用 AWS 定期（例如每天早上 6 点）执行以下任务：

• 使用 API 获取新的数据集。该数据集每天更新。
• 运行一个 python 脚本，该脚本将通过 matplotlib、pandas、plotly 等几个 python 库处理获得的数据集
• 自动将脚本的输出（可能是单个 pdf 文件或 html 仪表板）通过电子邮件发送给一组指定的收件人

我知道如何在本地执行上述所有项目 - 我的目标是自动执行此例程。我是 AWS 的新手，希望能得到一些关于如何以简单的方式执行这些任务的建议。根据我目前所做的阅读，看起来无服务器方法可能能够完成这项工作并降低复杂性，但我不确定我应该使用哪些功能。

Answer 1

对于日程安排，您可以使用aws event bridge。 您可以安排AWS lambda 或AWS Step Functions 这两者都是无服务器的:)。

你可以有 3 个 lambdas

1. 获取数据并将其保存在 S3/dynamo 中（如果要持久化数据）
2. 处理器 lambda 并将报告保存到 S3。
3. 另一个 lambda to send email 使用 AWS SES 将从 S3 读取报告并发送。

如果您不想使用步进函数，您可以从 S3 put 事件启动您的 lambda，或者您可以使用 aws-sdk 从另一个 lambda 触发一个 lambda。

Answer 2

因此，您可以采取不同的方法。

首先，我会创建一个Lambda。您可以安排该函数在 cron 作业上运行。

如果您要发送的消息很小：

我会创建一个带有电子邮件扇出的SNS Topic。

在您的 lambda 中，您可以转换数据并通过 SNS 发送出去。

否则：

我会使用 SES 并通过 the SES SDK 发送邮件。