“截断”通过 CloudFormation (SAM) 创建的 DynamoDB 表

Question

我想在 DynamoDB 表中“截断”（删除所有项目）。我知道最有效的方法是删除表并重新创建它（名称、索引等）。但是，该表是 SAM-CloudFormation 部署的一部分。该表（按名称）也在应用程序的其他部分中被引用。

如果我删除并重新创建它，我可以使用以前的相同名称；但是，我认为这会导致问题，因为 (1) 删除不是立即的，并且 (2) ARN 会发生变化，这可能会对 CloudFormation 堆栈产生影响。

似乎应该有比蛮力方法更好的解决方案：遍历所有项目，一次删除一个（通过batch_writer 进行一些优化）。

我在这里查看了其他一些解决方案，但它们没有解决我的问题的“CloudFormation 堆栈的一部分”部分。

• Truncate DynamoDb or rewrite data via Data Pipeline
• What is the recommended way to delete a large number of items from DynamoDB?

我什至自己为别人关于这个主题的问题提供了一个蛮力解决方案。

• delete all items DynamoDB using Python

这是蛮力方法

import boto3

table = boto3.resource('dynamodb').Table('my-table-name')
scan = None

with table.batch_writer() as batch:
    count = 0
    while scan is None or 'LastEvaluatedKey' in scan:
        if scan is not None and 'LastEvaluatedKey' in scan:
            scan = table.scan(
                ProjectionExpression='id',
                ExclusiveStartKey=scan['LastEvaluatedKey'],
            )
        else:
            scan = table.scan(ProjectionExpression='id')

        for item in scan['Items']:
            if count % 5000 == 0:
                print(count)
            batch.delete_item(Key={'id': item['id']})
            count = count + 1

所需的最终状态是具有相同名称的 DynamoDB 表（之前充满项目），没有项目，并且仍然能够作为 CloudFormation 删除操作的一部分被销毁。

Answer 1

无论您将表创建为AWS::Serverless::SimpleTable 还是AWS::DynamoDB::Table，都没有现成的解决方案可以在保留其名称的同时使用 CloudFormation 清空它。

作为一般最佳实践，您不应命名由 CloudFormation 创建的 DynamoDB 表，而是让 CloudFormation 为资源分配名称。如果在您的设置中是这种情况，您可以简单地对需要“替换”资源的资源进行更改，例如临时添加本地二级索引，这将重新创建资源并根据它使用资源。

也就是说，在您的情况下，最好的方法可能是将您的蛮力方法包装在 CloudFormation custom resource 中，并将其包含在您的 CloudFormation 堆栈中。有了它，您可以一次截断表，或者根据您的自定义资源的实现，随时截断。

请记住，从 DynamoDB 表中删除所有项目可能需要很长时间，因此使用 Lambda 支持的自定义资源可能会遇到 Lambda 函数运行时的限制，具体取决于表中的项目数。如果表包含很多项目，它也可能变得相当昂贵。