在 AWS CLI 中将所有 csv 文件合并为一个 csv答案

【问题标题】：Combine all csv files into one single csv inside AWS CLI在 AWS CLI 中将所有 csv 文件合并为一个 csv
【发布时间】：2020-04-28 02:11:23
【问题描述】：

我有一个 S3 存储桶，其中包含一个名为 batches 的文件夹。在批处理文件夹中，我有 20 个 CSV 文件。使用 AWS ClI（或确切地说是 bash 文件），我如何将所有这些 csv 文件合并到一个 CSV 文件中并将其移到一个文件夹中。

通常在终端中我是这样做的：

cd batches && cat ./*csv > combined.csv

对于 AWS CLI 中的 S3 存储桶，有什么类似的方法可以做到这一点？

【问题讨论】：

【解决方案1】：

如果您总共只有 20 个 CSV 文件，那么 Marcin 的建议可能是正确的方法。如果您有更大尺寸的 CSV，那么我建议您利用 S3 中的分段上传并在 aws lambda 中处理它们。

【讨论】：