subprocess32.Popen 崩溃（cpu 100%）

Question

我一直在尝试使用subprocess32.Popen，但这会导致我的系统崩溃（CPU 100%）。所以，我有以下代码：

import subprocess32 as subprocess

for i in some_iterable:
    output = subprocess.Popen(['/path/to/sh/file/script.sh',i[0],i[1],i[2],i[3],i[4],i[5]],shell=False,stdin=None,stdout=None,stderr=None,close_fds=True)

在此之前，我有以下内容：

import subprocess32 as subprocess
for i in some_iterable:
    output subprocess.check_output(['/path/to/sh/file/script.sh',i[0],i[1],i[2],i[3],i[4],i[5]])

.. 我对此没有任何问题 - 只是速度太慢了。

使用 Popen，我发现这很快 - 但我的 CPU 在几秒钟内就超过 100%，系统崩溃了 - 强制重新启动。

我想知道我在做什么导致 Popen 崩溃？

在 Linux 上，Python2.7 如果有帮助的话。

谢谢。

Answer 1

问题是您试图一次启动 2 百万个进程，这会阻塞您的系统。

一种解决方案是使用池来限制一次可以运行的最大进程数，并等待每个进程完成。对于这种您正在启动子进程并等待它们（IO 绑定）的情况，multiprocessing.dummy 模块中的线程池可以：

import multiprocessing.dummy as mp
import subprocess32 as subprocess

def run_script(args):
    args = ['/path/to/sh/file/script.sh'] + args
    process = subprocess.Popen(args, close_fds=True)
    # wait for exit and return exit code
    # or use check_output() instead of Popen() if you need to process the output.
    return process.wait()

# use a pool of 10 to allow at most 10 processes to be alive at a time
threadpool = mp.Pool(10)

# pool.imap or pool.imap_unordered should be used to avoid creating a list
# of all 2M return values in memory
results = threadpool.imap_unordered(run_script, some_iterable)
for result in results:
    ... # process result if needed

我忽略了Popen 的大部分参数，因为无论如何您都在使用默认值。如果您的脚本正在执行计算工作，如果它主要执行 IO（网络访问、写入文件等），那么池的大小可能应该在您可用 CPU 内核的范围内，那么可能更多。