【发布时间】：2021-09-13 00:03:40
【问题描述】：
任务：将 13TB（100 个文件）从外部 s3 存储桶加载到公司 s3 存储桶
给定：.pem 和 .ppk 文件、s3 主机名、用户名
到目前为止完成：能够使用提供的 .pem/.ppk 文件、主机名和用户名通过 FileZilla/WinSCP 查看文件
要求：确定将这数百个 .gz 文件从外部供应商的 s3 存储桶加载到我公司的 s3 存储桶的最佳方式，同时保持相同的结构。然后将其从内部 s3 加载到雪花中。正在考虑的选项：AWS Snowball、python、Volume --> s3、python 从 s3 加载到雪花中。
我不确定如何继续。有什么意见吗？
【问题讨论】：
-
SFTP 和这里有什么关系？不如给原生
CopyObject打个招呼？ -
Google 总是一个不错的起点：aws.amazon.com/premiumsupport/knowledge-center/…。 Stackoverflow 更适合提出具体的技术问题
-
首先，您是否可以访问源存储桶中的数据？这种访问是如何提供的——它是公开的，还是您获得了 AWS 凭证，或者他们已将您的 IAM 用户/角色添加到他们的 S3 存储桶策略中？ “给定 .pem 和 .ppk 文件”是什么意思？谁给了你这些文件，它们与什么相关联？还有“给定用户名” - 它的用户名是什么？请编辑您的问题以添加这些详细信息。
-
为什么要移动 13TB 的文件？你不能让 Snowflake 从供应商的存储桶中读取它们吗？
标签： amazon-web-services amazon-s3 sftp snowflake-cloud-data-platform