使用 AWS Lambda 函数访问存储在 AWS s3 中的大文件答案

【问题标题】：Accessing Large files stored in AWS s3 using AWS Lambda functions使用 AWS Lambda 函数访问存储在 AWS s3 中的大文件
【发布时间】：2017-06-06 05:15:59
【问题描述】：

我在 s3 中存储了超过 30GB 的文件，我想编写一个 Lambda 函数来访问该文件，对其进行解析，然后在其上运行一些算法。我不确定我的 lambda 函数是否可以获取那个大文件并对其进行处理，因为 Lambda 函数的最大执行时间为 300 秒（5 分钟）。我发现 AWS S3 具有更快加速的功能，但它会有所帮助吗？

考虑到 lambda 函数以外的场景，任何人都可以建议任何其他服务将我的代码作为微服务托管并解析文件吗？

提前致谢

【问题讨论】：

EMR 非常适合这种情况。

标签： amazon-web-services amazon-s3 aws-lambda microservices

【解决方案1】：

这完全取决于加工要求和加工频率。

您可以使用 Amazon EMR 解析文件并运行算法，并根据需要终止集群或使其保持活动状态以进行频繁处理。 https://aws.amazon.com/emr/getting-started/

您可以尝试使用 Amazon Athena（最近推出）服务，该服务将帮助您解析和处理存储在 S3 中的文件。基础设施需求将由亚马逊负责。 http://docs.aws.amazon.com/athena/latest/ug/getting-started.html

对于复杂的处理流程要求，您可以使用 AWS DataPipeline 等 AWS 服务的组合 - 用于管理流程和 AWS EMR 或 EC2 - 来运行处理任务。https://aws.amazon.com/datapipeline/

希望对你有帮助，谢谢

【讨论】：