GSUtil rsync 在 S3 存储桶上给出 400 不可​​重试异常

Question

我正在使用 gsutil rsync，从 s3 复制到 gs，在 gsutil 通过存储桶中途后出现以下错误：

列出 s3://[bucket]/ 时捕获不可重试异常：BadRequestException: 400 None CommandException：捕获不可重试的异常 - 正在中止 rsync

这是不受欢迎的行为，因为我可以手动从 s3 复制到 gs 其他文件。我无法使用“-C”开关绕过，因为这不是复制错误。

编辑：如果“#”出现在 s3 的文件名中，gsutil 会将其替换为“?versionId=”。例如：

S3 文件名：Updaet#2_Montgomery Building Permits.xlsx

调试输出中的 GS 列表如下：Updaet?versionId=2_Montgomery Building Permits.xlsx

Answer 1

您能否通过运行提供有关此故障的更多详细信息：

gsutil -D rsync your-source your-destination

然后摘录显示错误的 HTTP 请求/响应？当你这样做时，请编辑授权：标题。

如果您不想在公共论坛上发布请求的详细信息，可以通过 gs-team@google.com 将它们发送给我

谢谢。

Answer 2

昨天我也发生了同样的事情，'#'确实是问题所在。

问题似乎出在 boto，不一定是 gsutil，尽管我不知道修复的确切位置。 BotoTranslation._StorageUriForObject() 调用 boto.storage_uri()，它使用 VERSION_RE ('(?P<versionless_uri_str>.+)#(?P<version_id>.+)$') 在 uri_str/path 中查找版本。如果对象名称包含“#”，那么它之后的所有内容都将被视为 S3 版本 ID。我没有看到目前有任何方法可以对“#”进行转义或编码，使其不会被视为版本分隔符。