使用 AWS 通过无服务器处理大量数据

Question

我的 DynamoDB 数据库中每个用户大约有 300,000 个事务。

如果这是最便宜的方式，我想以无服务器方式根据这些交易计算税费。

我的想法是，我应该使用 AWS Step Functions 来获取所有事务，将它们存储到 Amazon S3 中，然后使用 AWS Step Functions 遍历 CSV 文件中的每一行。问题是，一旦我在 CSV 中读取了一行，我就必须将它存储在内存中，以便我可以将其用于以后的计算。如果这个 Lambda 函数超时了，那么我没有办法保存状态，所以这条路线是不合理的。

另一个代价高昂的方法是在 DynamoDB 中为每个事务创建两个副本，并在副本表上执行操作，保持原始数据不变。这样做的问题是 DynamoDB 表最终是一致的，并且可能存在我读取脏项的情况。

Answer 1

无服务器是事件驱动处理的理想选择，但对于您的批处理用例，使用 EC2 实例可能更容易。

Amazon EC2 t2.nano 实例低于 1c/小时，具有现货定价的 t2.micro 实例也是如此，它们是按秒计价的。

Answer 2

这里确实没有足够的细节来提出一个好的建议。例如，您的 DynamoDB 表中的数据是如何组织的？你计划多久运行一次这项工作？您需要多快完成这项工作？

你提到了价格，所以我认为这对你来说是最大的因素。

对于事件驱动的处理来说，Lambda 往往成本最低。这个想法是，对于任何 EC2/ECS 事件驱动系统，您都需要在一定程度上过度配置以处理流量峰值。过度配置的计算能力大部分时间都处于空闲状态，但您仍然需要为此付费。在 lambda 的情况下，您需要为计算能力多付一点钱，但由于您不需要过度配置，因此您需要的更少可以节省资金。

批处理系统往往很适合 EC2，因为它们通常在整个作业期间使用 100% 的计算能力。在作业结束时，您关闭了所有实例，并且不再为它们付费。此外，如果您使用现货定价，您可以真正降低计算能力的价格。