AWS CLI 显示失败的 S3 CP 或 SYNC 上传答案

【问题标题】：AWS CLI Show Failed S3 CP or SYNC uploadsAWS CLI 显示失败的 S3 CP 或 SYNC 上传
【发布时间】：2022-08-16 03:44:25
【问题描述】：

我在使用 AWS CLI 时遇到问题，如果我对较小的文件 (<10GB) 执行 s3 cp 或 s3 sync 它工作正常，但是当我对文件 (>10gb) 尝试相同的命令时，它返回的退出状态为 1表示某些文件无法复制。

有没有办法显示/列出无法复制/同步的文件？注意：所有副本都在 s3 到 s3 之间（相同的存储桶、相同的区域、相同的 ACL，只是不同的“文件夹路径”）

【解决方案1】：

Looking at the official docs，当处理超过 10gb 的文件时，您需要在 CLI 命令中指定参数--expected-size，否则当达到默认部分限制 10,000 时，上传可能会失败。

大于 50GB 的文件示例：

aws s3 cp - s3://mybucket/stream.txt --expected-size 54760833024

我希望这对你有用。继续摇摆！

【讨论】：

嘿@jonathan-brizio 感谢您的评论。这在同一个存储桶中复制时是否适用？我不是从本地上传到 S3，源和目标是不同路径的同一个 s3 存储桶。
哦，您正在尝试在两个不同的存储桶名称之间进行同步。所以尝试从 Web 控制台执行此操作：只需导航到要复制的文件，单击“操作”->“复制”，然后导航到目标存储桶和“操作”->“粘贴”。
仅当从stdin 复制时才需要--expected-size（使用-）。

【解决方案2】：

面临一个不同的问题，导致我提出同样的问题：有没有办法查看哪些上传失败？

根据AWS docs，您可以使用--only-show-errors 标志在命令输出中仅获取失败的上传。适用于s3 cp 和s3 sync。

【讨论】：