将文件上传到 Google Cloud Storage 缓慢

Question

我注意到上传到 Google Cloud Storage 的速度非常低，与将文件上传到 Google Drive 相比慢了将近 2.5 倍。以下是上传 1GB 文件时比较两者的截屏视频：

https://gyazo.com/c3488bd56b8118043b7df5aab813db01

这只是一个示例，但我也尝试过使用gsutil 命令行工具，使用他们提供的所有建议以最快地上传大文件（例如使用parallel_composite_upload_threshold）。它仍然比我习惯的要慢。慢得多。

有什么办法可以提高这个上传速度吗？为什么上传到云端硬盘比上传到 GCS 快得多？

Answer 1

我花了一天时间使用 console.google.cloud.com 或浏览器上传了大约 30000 张图片（100kb/image），和你一样。然后我尝试使用 gsutil 在 Ubuntu 中使用终端上传文件。按照这里的说明：https://cloud.google.com/storage/docs/uploading-objects。

对于单个文件：

gsutil cp [LOCAL_OBJECT_LOCATION] gs://[DESTINATION_BUCKET_NAME]/

对于目录：

gsutil -m cp -R [DIR_NAME] gs://[DESTINATION_BUCKET_NAME]

使用gsutil 速度非常快，我上传了 100.000 张图片（100~400kb/图片），只用了不到 30 分钟。

老实说，我没有做很多研究，为什么使用gsutil 比使用控制台要快。可能是因为gsutil 提供了-m 选项，它执行并行（多线程/多处理）复制，可以显着提高上传性能。 https://cloud.google.com/storage/docs/composite-objects

Answer 2

首先，这两种产品的用途不同。虽然可以看到 Drive 更多地是使用云的小规模文件存储，但 Cloud Storage 专注于与 Google Cloud Platform 产品的集成、数据可靠性、可访问性、小规模到大规模的可用性。

您需要考虑的是，当您将文件上传到云存储时，它被视为blob object，这意味着它必须经过一些额外的步骤，例如对象数据需要@上传到 Cloud Storage 时为 987654322@，并检查上传的对象是否有 consistency。

此外，根据您的存储桶配置，上传的对象可能启用了version control，而存储桶可能是storing the data in various regions at the same time，这会降低文件上传速度。

我相信这几点，特别是加密，是导致云存储中文件上传速度比云端硬盘慢的原因。

不过，我建议您将要上传到的存储桶放在 region closest to your area，这可能会有所不同。