在 DynamoDB 中搜索大量数据答案

【问题标题】：Search a large amount of data in DynamoDB在 DynamoDB 中搜索大量数据
【发布时间】：2013-10-23 16:28:57
【问题描述】：

我有一个用例，其中我的数据存储在 DynamoDB 中，其中 hashkey 为 UniqueID，范围键为 Date。 Amazon（S3）的简单存储服务中也存在相同的数据。我想根据时间范围搜索所有数据。我希望这足够快。我可以想到以下可能的方法： - 报废完整的 S3 并根据时间对它们进行排序（它不满足我的延迟要求） - 使用 DynamoDB 扫描过滤器无济于事，因为它们会扫描整个表。认为数据量很大。

要求：快（1分钟内可以出结果），不要访问大量数据，不能使用任何其他数据库源

【问题讨论】：

很抱歉，但是是的。我想要在不使用 DynamoDB 中的扫描过滤器的情况下搜索数据的可行方法。
尝试使其更具体，向我们展示您迄今为止尝试了什么以及为什么它没有奏效，等等。
我对类似问题的回答可能有用：stackoverflow.com/a/19385134/929047 - 我们正在努力解决一些相同的问题。

标签： search amazon-s3 amazon-dynamodb large-data-volumes large-data

【解决方案1】：

您应该使用Query 而不是Scan，请参阅http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/QueryAndScan.html。

【讨论】：

【解决方案2】：

我认为 AWS Elasticsearch 可能是您问题的答案。 DynamoDB 现在与 Elasticsearch 集成，使您能够对数据执行全文查询。

Elasticsearch 是一种流行的开源搜索和分析引擎，旨在简化实时搜索和大数据分析。

使用新的 Amazon DynamoDB Logstash 插件可以轻松集成 Elasticsearch。

【讨论】：