【问题标题】：Unable to copy 350 GB data from one bucket to another in google cloud无法将 350 GB 数据从一个存储桶复制到谷歌云中的另一个存储桶
【发布时间】：2020-06-02 10:09:57
【问题描述】：

我正在尝试在 Google Cloud 上的同一项目中将数据从一个存储桶移动到另一个存储桶。它具有纯图像和文档，例如 .png、.jpg 和 .pdf 文件。我试了几次，但结果还是一样。

下面是我正在使用的命令， gsutil -m cp -r -n gs://bucket1/folder1/subfolder/* gs://bucket2/folder1/subfolder/ 2>&1 | tee ./result.txt

它运行了几个小时，一段时间后屏幕进入挂起状态，我没有看到在谷歌控制台上运行任何日志。

我的疑问如下，GCP上是否有任何设置，如果网络流量持续几个小时，它会阻塞流量，类似的东西？桶级有大小上限吗？如果是，我该如何检查？

我必须在上述命令中添加任何其他参数吗？对于完成这项任务，您还有其他建议吗？

【问题讨论】：

标签： google-cloud-platform copy bucket google-cloud-data-transfer

【解决方案1】：

我建议尝试使用Storage Transfer Service 来完成任务。

Storage Transfer Service 是一款让您能够：

1.将数据从其他云存储提供商或您的本地存储移动或备份到 Cloud Storage 存储桶。

> 2.将数据从一个 Cloud Storage 存储桶移动到另一个存储桶，以便不同的用户或应用组使用。

3.作为数据处理管道或分析工作流的一部分定期移动数据。

Creating and managing data transfers with the Console

编辑

你可以运行命令perfdiag - Run performance diagnostic

perfdiag 命令为给定的运行一套诊断测试谷歌存储桶。

gsutil perfdiag gs://your-bucket

如果可用性不是 100% 和/或检测到 HTTP 错误，则表明存在服务/网络问题

【讨论】：

是的，我也检查过该服务。但它有一些限制。
限制是，我无法将特定文件/文件夹从源存储桶移动/复制到目标存储桶上的特定文件夹。没有从源中选择特定文件/文件夹的选项，反之亦然。我正在寻找其他一些选择，也想从网络流量控制的角度思考。
我得到以下结果：发出的 HTTP 请求总数：94 HTTP 5xx 错误：0 HTTP 连接中断：0 可用性：100%
能否请您尝试拆分数据，然后从一个存储桶复制到另一个存储桶？

【解决方案2】：

我已经在实例上安装了“screen”包并启动了复制作业。尽管存在网络波动或控制台挂起，但该作业过去常常在后端运行。尽管这是一个小技巧，但它对完成任务很有帮助。我希望它也可以帮助其他人。注意：我确实复制了文件和文件夹而不是移动。

【讨论】：