在特定日期之前将文件从一个 S3 文件夹移动到另一个 S3 文件夹答案

【问题标题】：Move files from one S3 folder to another S3 folder up to certain date在特定日期之前将文件从一个 S3 文件夹移动到另一个 S3 文件夹
【发布时间】：2021-11-17 21:19:05
【问题描述】：

我正在尝试将所有文件从一个 S3 文件夹移动到同一存储桶中的另一个文件夹。但我想排除过去 15 天内的任何文件。对 python 脚本或--exclude 命令有任何帮助吗？

aws s3 mv s3://BUCKETNAME/myfolder/All_files.csv s3://BUCKETNAME/myotherfolder/All_files.csv --exclude last-fifteen-days

【问题讨论】：

您不能使用exclude 执行此操作。您必须遍历所有文件，检查它们的日期，然后一个一个地移动它们。
这是一次性活动，还是您会定期进行的活动？如果是一次性的，最简单的方法是列出源存储桶的内容，然后使用 Excel 创建大量 aws s3 mv 命令将文件移动到新目标。

标签： amazon-web-services amazon-s3

【解决方案1】：

这是一个快速的方法，但您仍需要使用通配符按日期过滤。

aws s3 ls s3://bucketname/folder1 --recursive | \
grep '2021-10*' | \
awk '{print $4}' | \
xargs -I '{}' aws s3 mv s3://bucketname/'{}' s3://bucketname/folder2/'{}'

【讨论】：