【发布时间】：2019-06-21 10:45:46
【问题描述】：
我有三个文件，每个文件包含近 30 万条记录。已经编写了一个 python 脚本来处理这些具有一些业务逻辑的文件，并能够成功创建输出文件。此过程在 5 分钟内完成。
我正在使用相同的脚本来处理具有大量数据的文件（所有三个输入文件都包含大约 3000 万条记录）。现在处理需要几个小时并保持运行很长时间。
所以我正在考虑根据唯一 ID 的最后两位数字将文件分成 100 个小块，并对其进行并行处理。有没有我可以用来执行此操作的数据管道包？
顺便说一句，我正在我的 VDI 机器上运行这个进程。
【问题讨论】：
标签： python data-pipeline