将大文件拆分为小文件的更快方法？

Question

我有一个大约 6.5 GB 的小文件，我尝试使用 split -d -line--bytes=5MB 将其拆分为大小为 5MB 的文件。我花了 6 多分钟来拆分这个文件。 我有超过 1TB 的文件。 有没有更快的方法来做到这一点？

Answer 1

比专门设计用于完成此类工作的工具更快？在一般情况下听起来不太可能。但是，您可以做一些事情：

• 将输出文件保存到不同的物理存储单元。这样可以避免同时在同一个磁盘上读取和写入数据，从而实现更多的不间断处理。
• 如果记录大小是静态的，您可以使用--bytes 来避免处理整行的处理开销。