当 AWS Kinesis Stream 返回“ProvisionedThroughputExceededException”时，数据是否会丢失？

Question

我有一个在 AWS 中运行的数据迁移作业，它将数据发送到 Kinesis Stream，还有一个 Lambda 函数充当消费者，将数据写入 DynamoDB（我将 kinesis 设置为 触发器 到 lambda)。

我的问题出现在 Kinesis Stream 开始出现时：

超过写入吞吐量（计数/请求）- 平均 - WriteProvisionedThroughputExceeded

我在该图表上看到 200 或 300 个峰值计数，即使 lambda 使用者从未停止读取数据并将数据写入 DDB 表，但是一旦迁移过程完成（没有更多信息要发送到kinesis）我注意到有一些丢失的记录（lambda 消费者从未失败），我的问题是：当 AWS Kinesis Stream 返回“ProvisionedThroughputExceededException”时数据是否丢失？该数据永远不会发送到运动消费者？

Answer 1

您是对的，Kinesis 不处理受限制的调用；你的数据will be dropped by Kinesis:

如果由于请求所涉及的分片上的预置吞吐量不足而无法处理 PutRecord 请求，则 PutRecord 会抛出 ProvisionedThroughputExceededException。

为避免这种情况，you should retry your PutRecord(s) 调用使用（最好）指数退避：

应使用指数退避策略在短暂延迟后自动重试受限制的请求。