多处理子流程

Question

我是 python 的子进程模块的新手，目前我的实现不是多处理的。

import subprocess,shlex
    def forcedParsing(fname):

        cmd = 'strings "%s"' % (fname)
        #print cmd
        args= shlex.split(cmd)
        try:
            sp = subprocess.Popen( args, shell = False, stdout = subprocess.PIPE, stderr = subprocess.PIPE )
            out, err = sp.communicate()
        except OSError:
            print "Error no %s  Message %s" % (OSError.errno,OSError.message)
            pass

        if sp.returncode== 0:
            #print "Processed %s" %fname
            return out

    res=[]
    for f in file_list: res.append(forcedParsing(f))

我的问题：

1. sp.communicate 是个好方法吗？我应该使用民意调查吗？

   如果我使用 poll，我需要一个单独的进程来监控进程是否正确完成？

2. 我应该在for 循环中分叉吗？

Answer 1

1) subprocess.communicate() 似乎是您尝试做的正确选择。而且您不需要轮询进程，communicate() 仅在完成时返回。

2) 你的意思是分叉来并行化工作？看看multiprocessing (python >= 2.6)。使用子进程运行并行进程当然是可能的，但这是一项相当大的工作，你不能只调用communicate()，它是阻塞的。

关于您的代码：

cmd = 'strings "%s"' % (fname)
args= shlex.split(cmd)

为什么不简单呢？

args = ["strings", fname]

至于这种丑陋的模式：

res=[]
for f in file_list: res.append(forcedParsing(f))

您应该尽可能使用列表理解：

res = [forcedParsing(f) for f in file_list]

Answer 2

关于问题 2：如果脚本应该在具有多个内核/处理器的系统上运行，则在 for 循环中分叉将大大加快速度。但是，它会消耗更多的内存，并且会给 IO 带来更大的压力。取决于file_list 中的文件数量，某处会有一个最佳位置，但只有在实际目标系统上进行基准测试才能告诉您它在哪里。如果您找到该号码，您可以添加一个 if len(file_list) > <your number>: 和可选的 fork() 'ing [Edit: 而是@tokland 通过multiprocessing 说的，如果它在您的 Python 版本（2.6+）上可用)] 根据每个工作选择最有效的策略。

在此处阅读有关 Python 分析的信息：http://docs.python.org/library/profile.html

如果你在 Linux 上，你也可以运行 time: http://linuxmanpages.com/man1/time.1.php

Answer 3

subprocess documentation 中有几个警告建议您使用communicate 来避免进程阻塞问题，因此最好使用它。