直接从 App Engine 将大文件上传到 Google Storage

【问题标题】：Uploading a large file to Google Storage directly from App engine直接从 App Engine 将大文件上传到 Google Storage
【发布时间】：2024-05-30 01:00:02
【问题描述】：

我正在尝试构建一个系统，让用户从他们的保管箱中选择一个大型数据集，然后将该数据下载到谷歌云存储桶中。

问题是我的后端代码在 AppEngine 上运行，因此我无法将大文件下载到磁盘以上传到存储桶。

有没有办法以编程方式告诉云存储从 URL 检索数据？

或者有没有其他方法可以在 AppEngine 实例上下载这些数据，然后从那里上传？

【问题讨论】：

标签： google-app-engine google-cloud-platform google-cloud-storage google-app-engine-python

【解决方案1】：

您不能直接告诉 GCS 请从 Internet 下载一个文件并将其保存在存储桶中。

另一方面，移动大量对象是 Google 存储传输服务的业务。它可能适合您的需求，具体取决于您所说的“大型数据集”。 https://cloud.google.com/storage-transfer/docs/overview

【讨论】：