【问题标题】:Is it possible to use enhanced fan-out with DynamoDB Streams?是否可以在 DynamoDB Streams 中使用增强型扇出?
【发布时间】:2019-11-27 22:49:11
【问题描述】:

在使用 Kinesis Data Streams 时,是否可以使用 enhanced fan-out 功能?

DynamoDB Streams API says:

DynamoDB Streams API 有意与 Kinesis Streams 相似,后者是一种用于实时处理大规模流数据的服务。在这两种服务中,数据流都由分片组成,分片是流记录的容器。两种服务的 API 都包含 ListStreams、DescribeStream、GetShards 和 GetShardIterator 操作。 (尽管这些 DynamoDB Streams 操作与 Kinesis Streams 中的对应操作相似,但它们并非 100% 相同。)

是否可以在 DynamoDB Streams 中使用增强型扇出?是否有任何关于此用途的文档或代码示例?

看起来答案可能是否定的,因为上面未列出的增强型扇出requires SubscribeToShard 方法。

【问题讨论】:

    标签: amazon-web-services amazon-kinesis amazon-dynamodb-streams


    【解决方案1】:

    是的,DynamoDb 流不支持花哨的增强扇出。想想 Kinesis Data Streams = dynamoDb 流 2.0。所以 DynamoDb 流不会很快改变。

    DynamoDb 流主要设计为 oplog,用于通知“单个”消费者(最多两个)。考虑到这个问题,我假设您希望有多个具有专用容量的消费者连接到 DynamoDb 流?

    我强烈建议您使用 lambda 将数据转发到 Kinesis,这将为您提供所有这些功能。

    但是,如果真的需要坚持使用“仅”DynamoDb 流。那么根据消费者的数量,您将需要额外的代码来优雅地处理限制错误或/并减少 dynamodb 流轮询周期。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-11-05
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-08-20
      • 1970-01-01
      • 2017-06-17
      • 2021-07-01
      相关资源
      最近更新 更多