从 DynamoDb 查询的 Python 脚本不提供所有项目

Question

我已经编写了以下 python 代码来从表中获取数据，但它没有获取我想要的所有项目。当我查看 DynamoDb 的 AWS 控制台页面时，与从脚本中获得的相比，我可以看到更多的条目。

from __future__ import print_function # Python 2/3 compatibility
import boto3
import json
import decimal
from datetime import datetime
from boto3.dynamodb.conditions import Key, Attr
import sys

# Helper class to convert a DynamoDB item to JSON.
class DecimalEncoder(json.JSONEncoder):
    def default(self, o):
        if isinstance(o, decimal.Decimal):
            if o % 1 > 0:
                return float(o)
            else:
                return int(o)
        return super(DecimalEncoder, self).default(o)

dynamodb = boto3.resource('dynamodb', aws_access_key_id = '',
        aws_secret_access_key = '',
        region_name='eu-west-1', endpoint_url="http://dynamodb.eu-west-1.amazonaws.com")

mplaceId = int(sys.argv[1])
table = dynamodb.Table('XYZ')

response = table.query(
    KeyConditionExpression=Key('mplaceId').eq(mplaceId)
)

print('Number of entries found ', len(response['Items']))

我也从 aws 控制台做了同样的事情。按 mplaceId 查询。

它发生的任何原因？

Answer 1

dynamodb.Table.query() 最多返回 1MB 的数据。来自boto3 documentation：

单个Query 操作将读取最多设置的最大项目数（如果使用Limit 参数）或最多1 MB 的数据，然后使用FilterExpression 对结果应用任何过滤。如果响应中存在LastEvaluatedKey，则需要对结果集进行分页。有关更多信息，请参阅 Amazon DynamoDB 开发人员指南中的Paginating the Results。

这实际上不是boto3-limitation，而是底层query-API 的限制。

您可以使用boto3 的built-in pagination ，而不是自己实现分页。以下是boto3提供的paginator for querying DynamoDB tables的使用示例：

import boto3
from boto3.dynamodb.conditions import Key

dynamodb_client = boto3.client('dynamodb')
paginator = dynamodb_client.get_paginator('query')
page_iterator = paginator.paginate(
    TableName='XYZ',
    KeyConditionExpression='mplaceId = :mplaceId',
    ExpressionAttributeValues={':mplaceId': {'S' : mplaceid}}
)

for page in page_iterator:
    print(page['Items'])