如何将大数据从 S3 存储桶发布到 API答案

【问题标题】：How do i post large data from S3 bucket to an API如何将大数据从 S3 存储桶发布到 API
【发布时间】：2022-06-14 22:16:50
【问题描述】：

所以，我的 s3 存储桶中有一个大约 3.5 Gb 的“csv”文件，我应该使用 AWS Lambda 将其发布到 REST API 上。但是 lambda 可以容纳的最大大小是 500 MB。所以真的很困惑我应该做什么。任何帮助表示赞赏...

【问题讨论】：

让 REST API 重定向到 S3 文件。
因此，我们使用了一个使用 TruVue 的自定义 API，并在 lambda 函数中使用 python 脚本发布数据。但是文件很大，小于 500Mb 的文件很容易在 API 上发布，但大于 500MB 的文件不能。

【解决方案1】：

这是一个非常大的文件，可以作为 REST API 负载发送。

如果您尝试使用 Lambda 处理此文件，那么还有其他方法可以做到这一点。

首先分配给 Lambda 的文件大小可以增加到 10GB。该文件可以从 S3 下载并进行处理。

【讨论】：