通过云功能以无服务器方式将数据从谷歌云存储移动到 Amazon s3答案

【问题标题】：Moving data from google cloud storage to Amazon s3 via cloud function in a serverless fashion通过云功能以无服务器方式将数据从谷歌云存储移动到 Amazon s3
【发布时间】：2019-06-05 20:37:45
【问题描述】：

我在 Google Cloud Storage 中有需要以无服务器方式传输到 s3 存储桶的数据... 一种可能的方法是使用云功能，并使用 gsutil 和 boto3 将数据从云存储传输到 s3 存储桶以获得 was 凭证。我相信他们是谷歌对出站网络请求的额外费用，但这种方法是可能的。

有没有人有更好的方法或建议？

【问题讨论】：

是否需要serverless功能？我的意思是，已经定义了一个简单的方法in here
是的，理想情况下我们希望使用无服务器。我已经看到了许多选项（包括您指出的那个），其中包括服务器，但无服务器使它有点棘手。任何帮助将不胜感激！

标签： python amazon-s3 google-cloud-storage google-cloud-functions serverless

【解决方案1】：

目前没有比gsutil更好的了：https://stackoverflow.com/a/39333278/10801700

您在评估中是否考虑过Always Free usage limits？每个月有“1 GB 从北美到每个 GCP 出口目的地（澳大利亚和中国除外）”。超过此限制后，general network usage pricing 将适用。

请注意，Cloud Storage：“Always Free 仅适用于 us-east1、us-west1 和 us-central1地区。使用情况计算会在这些地区之间合并。"

【讨论】：

找到了一个方法：使用boto3和google云存储作为需求，我能够编写一个google cloud函数，它基本上在登陆GCS的文件时触发，读取内存中的文件并传递它进入 s3 存储桶。一个 150MB 的文件用时不到 30 秒。
@Karan 你能分享一下sn-p吗？
哈哈，对。我同意，请分享