Python中的并行处理问题

Question

我有一个 python 脚本A.py，它接受带有一些list of IPs 的目标文件的参数，并输出一个CSV 文件，其中包含有关某些来源的IP 的信息。( Run Method : python A.py Input.txt -c Output.csv )。

完成这项工作需要很长时间。后来，我拆分输入文件( split -l 1000 Input.txt) -> 创建目录（10 directories）-> 执行脚本，输入在screen 模式下并行拆分为 10 个目录

如何有效地完成这类工作？请问有什么建议吗？

Answer 1

试试这个：

parallel --round --pipepart -a Input.txt --cat python A.py {} -c {#}.csv

如果A.py 可以从fifo 中读取，那么这样会更有效：

parallel --round --pipepart -a Input.txt --fifo python A.py {} -c {#}.csv

如果您的磁盘有较长的寻道时间，那么使用--pipe 而不是--pipepart 可能会更快。