gsutil cp 命令的性能下降答案

【问题标题】：Performance of gsutil cp command has declinedgsutil cp 命令的性能下降
【发布时间】：2017-07-22 15:01:38
【问题描述】：

我们观察到，当很少有这样的进程运行将不同的单个文件复制到 google 存储上的不同位置时，用于将单个文件复制到 google 存储的 gsutil cp 命令会更好。当时的正常速度是~50mbps。但是随着将单个文件复制到谷歌存储的“gsutil cp”进程的增加，这些天的平均速度已经下降到~10mbps。

我认为“gsutil -m cp”命令不会提高性能，因为只有 1 个文件要复制。

随着用于复制许多单个文件的 gsutil cp 进程数量的增加，这种低速可归因于什么。我们可以做些什么来提高这些过程的速度

【问题讨论】：

标签： google-cloud-storage

【解决方案1】：

gsutil 可以并行上传单个大文件。它通过将文件的一部分作为单独的对象上传到 GCS 中，然后要求 GCS 将它们组合在一起，然后删除各个子对象。

注意因为这涉及上传对象然后几乎立即删除它们，所以您不应该在 Nearline 存储桶上执行此操作，因为删除最近上传的对象会产生额外费用。

您可以设置一个文件大小，超过该大小 gsutil 将使用此行为。试试这个：

gsutil -o GSUtil:parallel_composite_upload_threshold=100M cp bigfile gs://your-bucket

有关该功能的更多文档可在此处获得：https://cloud.google.com/storage/docs/gsutil/commands/cp#parallel-composite-uploads

【讨论】：

我不确定我是否理解您的问题。您的意思是文件本身已被压缩，例如 zip 存档，还是文件在传输到 GCS 时被压缩？
我的意思是文件已经被压缩，我们正在复制一个压缩文件。那么您建议的这种方法是否可行？
我看不出它为什么不能工作，因为文件被压缩了。