将 10gb 文件上传到 GCS答案

【问题标题】：Uploading 10gb file to GCS将 10gb 文件上传到 GCS
【发布时间】：2021-10-09 18:33:59
【问题描述】：

我正在将此文件上传到云端，上传速度约为 1.3MiB/s。感觉这很慢，可能有更好的方法，但我的公司对云计算很陌生。

我正在使用 google SDK 连接并通过以下方式上传：

gsutil cp [10gb 文件] [桶]

我读过并行上传，但担心需要一些特殊 crcmod 的警告。

非常感谢任何帮助！

编辑：我尝试了 -o GSUtil:Parallel 建议，但这并没有加快我的上传速度。我正在通过 VPN 路由的桌面执行此操作。我不知道这是否有任何后果，或者我如何检查这是否会导致问题。

【问题讨论】：

【解决方案1】：

我建议你看看object composition.

举个例子：

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp ./localbigfile gs://your-bucket

一些阅读参考：

【讨论】：

【解决方案2】：

您已经被处理可恢复上传的gsutil 覆盖。

可恢复上传是上传大文件的推荐方法

将数据上传到 Cloud Storage 时，gsutil 命令行工具在 gsutil cp 和 gsutil rsync 命令中使用可恢复上传。

此 Google 文档中有关 resumable uploads 的更多详细信息。

【讨论】：