Python子进程等待子进程列表[重复]

Question

我正在使用 python3 子进程模块来处理 bash 脚本调用。我想在调用脚本时控制并发子进程的数量。

Popen.wait(超时=无) 等待子进程终止。设置并返回返回码属性。

我知道我可以调用 subprocess.Popen.wait(timeout=None) 来等待子进程终止。但是我想知道是否可以等待 subprocess.Popen 列表完成，这样我就可以控制并发进程的数量。

示例代码sn-ps如下：

例子.py

import subprocess
from itertools import zip_longest

seed = [1, 2, 4, 1, 3, 5, 4, 1]
basepath="/path/to/file/hello.sh"

def grouper(iterable, n, fillvalue=None):
    args = [iter(iterable)] * n
    return zip_longest(*args, fillvalue=fillvalue)

def bash_handler(num):
    return subprocess.Popen('bash {0} {1}'.format(basepath, num), shell=True)

for bulk in grouper(seed, 2):
    [bash_handler(item).wait() for item in bulk if item is not None]
# This will executed one by one 

你好.sh

# Validation goes here.
echo $1
sleep $1
echo "Finish Executed"

Answer 1

当你使用communicate()时，你不需要指定等待子进程退出。更多信息可以在这里找到https://docs.python.org/2/library/subprocess.html 其他链接 Understanding Popen.communicate

以下更改应该适合您

from subprocess import Popen,PIPE
def bash_handler(num):
    return subprocess.Popen('bash {0} {1}'.format(basepath, num), shell=True,stdout=PIPE)


for bulk in grouper(seed, 2):
    [bash_handler(item).communicate() for item in bulk if item is not None]