AWS lambda 任务在处理来自 S3 存储桶的数据时出现大数据超时问题

Question

我的 S3 存储桶中有 120 mb 的数据文件，我正在通过 python pandas 将其加载到 lambda 中并进行处理，但 15 分钟后（基本设置的超时选项中设置的时间）它给了我一个任务错误超时并停止该过程。我在基本的崇高文本和终端中执行的相同过程只需要 2-3 分钟。问题是什么，我该如何解决。 提前致谢

Answer 1

如果您认为这需要的时间明显减少，您应该尝试查看本地计算机中使用的资源。 Lambda 可用的Increasing the amount of memory 可以在受到限制的情况下显着提高性能，这也会增加 CPU 的数量。

如果有大量数据，是否可以将其移至EFS？ Lambda 可以附加和访问EFS mount，就像它是本地存储一样。通过这样做，您将从您的 Lambda 脚本中删除此进程，而只能处理。

最后，如果上述两种方法都不能缩短执行时间，请查看是否可以将 Lambda 分解为更小的 Lambda 函数，然后通过Step Functions 进行编排。通过这样做，您可以create a chained sequence of Lambda functions 执行单个 Lambda 函数的原始操作。