使用 CLI 合并 AWS S3 文件

Question

我正在尝试将 S3 存储桶文件夹中存在的所有文件的内容合并/合并到一个新文件中。合并/合并应该按照S3文件Last modified的升序完成。

我可以通过硬编码文件名来手动完成，如下所示：

(aws s3 cp s3://bucket1/file1 - && aws s3 cp s3://bucket1/file2 - && aws s3 cp s3://bucket1/file3 - ) | aws s3 cp - s3://bucket1/new-file

但是，现在我想更改 CLI 命令，以便我们可以根据文件夹中存在的文件列表（按上次修改时间排序）进行文件合并。因此，理想情况下，cp 命令应该接收 S3 存储桶文件夹中存在的所有文件的列表，按 Last Modified 排序，然后将它们合并到一个新文件中。

感谢大家对此的帮助。

Answer 1

给你一些提示。

首先按照上次修改的相反顺序列出文件。

aws s3api list-objects --bucket bucket1 --query "reverse(sort_by(Contents,&LastModified))"

那么你应该可以像以前一样附加其余命令

aws s3api list-objects --bucket bucket1 --query "reverse(sort_by(Contents,&LastModified))" |jq -r .[].Key |while read file
do
   echo $file
   # do the cat $file >> new-file
done

aws s3 cp new-file s3://bucket1/new-file