一次为多个参数运行 AWS Lambda

Question

我是使用 AWS 的新手，我创建了一个 Web 抓取 python 脚本，它与第三方 API 一起工作以服务请求。该函数从基于论坛的平台中提取帖子和 cmets，我正在尝试在 AWS lambda 上运行该函数。我有一个包含多个论坛名称的字典，该函数遍历字典以一次执行一个论坛的函数。然后它将抓取的数据直接存储到 S3 中。 问题是执行时间太长，函数勉强刮了一个论坛，达到了最大的lambda执行时间（15分钟）。 我正在寻找一种解决方案，其中该函数每 30 分钟再次运行一次，并使用不同的论坛名称作为事件参数，直到字典中的所有论坛都被传递。 关于如何做到这一点的任何想法？

我尝试将主 lambda 函数与另一个每次使用不同参数调用它的主 lambda 函数配对，并且这个“跑步者”函数将被安排为每 30 分钟运行一次，但没有成功。

Answer 1

尝试使用Step Functions。它非常适合这样的事情。您可以使用 Map 状态一次运行多个 lambda 实例（每个站点一个），或者您可以按照您的描述在循环中运行它，使用 Wait 状态暂停它。