Google Storage Transfer Service 成本效益

Question

我需要将包含大量文件（800k 文件，400GB）的 aws s3 存储桶备份到谷歌云存储。 Google Storage Transfer Service 似乎是一个简单的解决方案，但我对成本效益有些怀疑。

第一次会下载整个 s3 桶：

• aws 上的 400 GB 传出流量
• 800k 在 aws 上获取请求
• 800k 向谷歌存储提出请求

第二次及以后呢？

它会和第一次一样花费还是只下载更改/新文件？

Answer 1

根据Creating and Managing Data Transfers with the Console 的文档：“默认情况下，Storage Transfer Service 仅在源版本与接收器版本不同时覆盖对象。”

因此，第二次的成本将是 S3 和 GCS 存储桶上的列表操作的成本（需要比较以查看发生了什么变化），加上任何变化的 GET 和 PUT。我相信对象通常一次列出 1,000 个（根据每个服务中对象列表的最大页面大小）。因此，如果没有对象发生更改，您可以预期您的场景中的成本大约是 S3 中的 800 次列表操作和 GCS 中的 800 次列表操作，如果没有对象更改。

Answer 2

进入 gcp 是免费的。因此，每次都创建一个新备份，并且只保留最新的 5 个（或其他）。这样您就不必担心覆盖等问题，而且您可以将任何文件回滚到 N 个版本之前。