从 Amazon S3 复制公共数据集

Question

我正在开发一个开源项目来分析 AWS 中的公共数据集 (https://aws.amazon.com/datasets)。

我需要将公共数据集复制到本地计算机以进行分析。如何将这些数据集从亚马逊复制到我的本地机器？

Answer 1

这个问题没有单一的答案，它取决于每个数据集。

数据集可以像NASA NEX datasets 一样从 s3 获得，因此如果需要，可以从 s3 存储桶下载它们。

许多数据集也可以直接从卷快照中获得。在这种情况下，您需要从给定的快照挂载一个新卷，例如，您可以挂载Wikipedia Page Traffic Statistic V3

localmachine $ ec2-create-volume --snapshot snap-f57dec9a -z us-east-1a localmachine $ ec2-attach-volume vol-ec123456 -i i-df123456 -d /dev/sdf root@domU-XX-XX-XX-XX-XX-XX:/mnt# mkdir /mnt/wikidata root@domU-XX-XX-XX-XX-XX-XX:/mnt# mount /dev/sdf /mnt/wikidata

在大多数情况下，亚马逊会指明数据集的来源，因此您可以点击链接，在每个来源中，您还可以下载给定的数据集。