Boto3 从最旧的记录中读取 Kinesis 流答案

【问题标题】：Boto3 Read Kinesis stream from oldest recordBoto3 从最旧的记录中读取 Kinesis 流
【发布时间】：2017-10-08 21:12:04
【问题描述】：

boto3 文档提到了这一点

请求中可以指定分片迭代器类型AT_TIMESTAMP从任意时间点读取记录，TRIM_HORIZON使ShardIterator指向系统分片中最后一条未修剪的记录（分片中最旧的数据记录） ) 或 LATEST，以便您始终读取分片中的最新数据。

这是在

my_shard_id = 'shardId-000000000000'

shard_iterator = kinesis_client.get_shard_iterator(StreamName=my_stream_name,
                                                      ShardId=my_shard_id,
                                                      ShardIteratorType='TRIM_HORIZON')

设置 ShardIteratorType='TRIM_HORIZON' 应该给我一个从最旧的项目开始的生成器，这是我整个用例的基础，即能够启动一个新的消费者并让它处理过去 24 小时的所有事件。

但这对我不起作用，我得到空记录

{u'Records': [], 'ResponseMetadata': {'RetryAttempts': 0, 'HTTPStatusCode': 200, 'RequestId': 'e705d8f2-dd62-f0d5-b551-4dd5ace4499e', 'HTTPHeaders': {'x-amzn-requestid': 'e705d8f2-dd62-f0d5-b551-4dd5ace4499e', 'content-length': '284', 'x-amz-id-2': '5bI4T8k4DIpvCsBRUtMw1WFgWqa4tT5X8bUj9mg1NGUFMBZe36iqibCRjDHathIe4j6GbmI6v8A+9d1TiBtbGg7/Sn4GduQPDQ0HVpcP/sM=', 'server': 'Apache-Coyote/1.1', 'date': 'Sun, 08 Oct 2017 21:04:39 GMT', 'content-type': 'application/x-amz-json-1.1'}}, u'NextShardIterator': u'AAAAAAAAAAH1FwRBEtaHytINAF8WzGDaKRaY5OEKCjFS+mKK5AQFqEf1SPJ8crMIMuBSNFOtfFn3KBT63r5f/bu40OLwhDztEbJgeYjciHVJERpFBDENiWOAZ760flMiZ0mXwCGfFW8cq/8hVC/qiwg1yF96+ujIIAz4vzvK7N944LBB2vH35+8noU/FBK9LCHLOxXxNAQXoOarcEPEU6jt112kOwEyT', u'MillisBehindLatest': 0}
{u'Records': [], 'ResponseMetadata': {'RetryAttempts': 0, 'HTTPStatusCode': 200, 'RequestId': 'c51c2d88-e979-8b07-9748-b8a598ff324c', 'HTTPHeaders': {'x-amzn-requestid': 'c51c2d88-e979-8b07-9748-b8a598ff324c', 'content-length': '284', 'x-amz-id-2': 'BE5rXnfii4ifLDlFuIHQxTBpUvhJ2MJKW92QjzDVFNUD4xRgIgcWhn89dA5EbdPo8HGb5MJDzZ+QfGqB9R4JykZmkvTgb3Fd9y9zaionRBk=', 'server': 'Apache-Coyote/1.1', 'date': 'Sun, 08 Oct 2017 21:04:44 GMT', 'content-type': 'application/x-amz-json-1.1'}}, u'NextShardIterator': u'AAAAAAAAAAEE0Qf0P4bXC7fg7yWj5SejVw9AIyN0iEnHWfj+nN8rIFSPwtDASvHIs+ZPcE2E7EU/gcvLqceWZ+GCptAnc6C3AzwsBK4HamaGCbV7K8l0fTnVMvErzboVGGqtAH4iHrimleGzUgJJ0TYgSDmPvdGDXCP+PRtwTFVGGZxK05jxTHf1qqOm74EfOMe65Bg+10MaNO4IO3NePm5lAy6AbQ/q', u'MillisBehindLatest': 0}

但是，当我创建一个新事件时，它会显示在这里。

我需要它来显示流在过去 24 小时内发生的所有事件。

【问题讨论】：

标签： boto3 amazon-kinesis

【解决方案1】：

TRIM_HORIZON 从最旧的项目开始读取，但是它从之前使用检查点停止的位置开始。您可以在 DynamoDB 中查看检查点表。

【讨论】：