我可以将 AWS Lambda 的调用分散在 5 分钟的时间间隔内吗？

Question

我有一个 每 5 分钟重复运行的 Lambda。它为每个用户执行一次数据处理任务（查询第三方 API 并处理响应）。这会每 5 分钟产生一次数据峰值。

我想将数据峰值转换为每秒均匀分布的数据。有什么方法可以在 5 分钟内将重复的任务分散到多个 Lambda 调用中，以实现更均匀的数据分布？

我的目标是随着时间的推移获得均匀分布的数据输出，这样我就可以将其传输到 AWS Kinesis，就好像它是实时流数据一样。

编辑：

现在，我的 Lambda 通过 Cloudwatch 事件每 5 分钟运行一次。它向我的服务器查询用户 API 密钥，然后查询第三方 API，处理结果并将其存储在 DynamoDB 中。

我想将负载平均分布在 5 分钟内，以便每秒处理一批用户，从而产生均匀的输出。

我想我可以在 Memcached 中将我的用户群分成 300 个存储桶（每秒 5 分钟一个），然后运行一个小型 EC2 实例，该实例将从 Memcached 获取存储桶并每秒为每个存储桶触发一个 Lambda。有没有更好的方法来实现这一点？

Answer 1

我目前假设您需要限制您的 API 调用，因为第三个 API 速率限制了服务。

有几种方法可以解决此问题，因此请选择最适合您的方法。我的看法是保持简单/无服务器，每秒调用第二个 lambda 来处理一批用户。

事件：

1. Cloudwatch 事件每 5 分钟调用一次 Lambda A
2. Lambda A 从“私有服务器”获取 API 密钥和要查询的用户列表
3. Lambda A 将用户列表拆分为 5 分钟）
4. Lambda A 按顺序同步处理

从 Lambda B 到第 3 方服务器的传出 GET 请求应该相当均匀，每秒约 1 个请求。另一方面，响应时间和写入 dynamoDb 可能会有所不同。