Dynamodb 流，更新最新的流 ARN

Question

我的应用程序读取 dynamoDB 流以查找对表的更改，我目前正在获取最新的流，如下所示：

this.awsDB.describeTable({TableName: 'MatchDraft'}, function(err, data){
  if(err){
    console.log(err);
  } else {
    this.streamArn = data.Table.LatestStreamArn;
    console.log(data, this.streamArn);
    _readStream.apply(this);
  }
}.bind(this));

我遇到的问题是LatestStreamArn 表不会自行更新并且每24 小时过期一次，此时我的程序开始工作。我总是只使用“最新”的分片迭代器类型，所以我不想保留所有更改的 24 小时记录，我只想能够使用分片迭代器来有效地检测表的更改并将它们显示为它们发生。

如何让我的应用程序自动根据需要以最有效的方式创建一个新的 LatestStreamArn？该代码是用户网络浏览器中的所有客户端，因此我不想打开 UpdateTable API 的权限，据我所知这是更新流的唯一方法。

Answer 1

latestStreamArn 不会在 24 小时后过期。当您通过 CreateTable 或 UpdateTable API 调用启用 DynamoDB Streams 时，将创建一个流。

如果您禁用 DynamoDB 流然后重新启用它，latestStreamArn 将发生变化。

使用 ShardIteratorType LATEST 调用 GetShardIterator 可能会导致您丢失数据，因为无法保证最后的 GetRecords 响应包括直到该点的所有记录。

为了跟踪来自 DynamoDB Streams 的更改，您需要在实践中做一些事情：

1. 启用流 - 在此之后您只需调用 DescribeTable 一次即可获取最新的StreamArn（您的应用程序可以在启动时调用一次）。

2. 定期调用 DescribeStream 获取分片列表。使用每个分片中的 parentShardId 指针，您可以构建一个分片谱系。如果要按顺序处理更改，则必须先完全处理分片，然后再处理其任何后代。

3. 在开始处理分片时调用一次 GetShardIterator。如果要处理所有事件，可以使用 TRIM_HORIZON 分片迭代器类型。否则，您可以通过处理最新的分片（谱系中的最新一代）并从 LATEST 分片迭代器类型开始来初始化您的应用程序。但是，如果您想按顺序处理记录，则您处理的所有未来分片都必须在 TRIM_HORIZON 初始化。

4. 重复调用 GetRecords 以通过分片进行分页。每个 GetRecords 结果都包含一个用于下一页结果的 nextShardIterator。无需在您想要处理特定分片时调用 GetShardIterator，您只需调用一次即可获得有效的分片迭代器 - 然后您可以继续调用 GetRecords 直到到达分片的末尾（nextShardIterator 为空） .