在 Linux 中将许多 CSV 文件拆分为几个更大的文件

Question

我有一堆小的 CSV 文件（几百个文件，每个文件大约 100 MB），我想将它们打包成几个更大的文件。我知道如何将这些文件的所有（或子集）连接到一个文件中——我只需要在 Linux 中使用 cat 命令并将其输出重定向到一个文件。我的问题是结果文件必须不大于某个大小（例如 5 GB），即将所有小文件合并为一个不是解决方案，因为生成的文件会太大。所以，我想知道是否有一种在命令行中执行此操作的方法比编写循环遍历目录的 bash 脚本更简单？

谢谢。

Answer 1

split 命令完全符合您的需要。您可以让它根据大小或行数将 STDIN 拆分为不同的输出。也可以指定输出文件后缀。