使用 AWS 步进函数处理大量数据？

Question

我们想使用 AWS step 函数来处理来自 CSV 文件的大量数据，但我们不确定这是否是最佳选择。

我们的用例如下： - 我们上传一个包含大量行（如 50K）的 CSV，并且对于每一行我们处理一个小特征（每个特征由 lambda 函数处理）。 目前，我们认为最好的选择是将 CSV 中的每一行插入到 DynamoDB 中，并为每一行启动我们的 lambda 函数。

你觉得这个怎么样？

Answer 1

使用 Lambda 处理大文件有多种模式。

• 一种方法是使用 Lambda 函数，即拆分大文件并将部分委托给工作 Lambda 函数。
• 如果零件的处理步骤足够复杂，您可以触发多个 Step 函数工作流。

在您提出的方法中，如果每个项目处理足够大，则逐项处理是有意义的，但通常以批量处理更有效。