使用 subprocess 模块是否会释放 python GIL？

Question

当通过 Python 的subprocess 模块调用需要较长时间的 linux 二进制文件时，是否会释放 GIL？

我想并行化一些从命令行调用二进制程序的代码。使用线程（通过threading 和multiprocessing.pool.ThreadPool）还是multiprocessing 更好？我的假设是，如果 subprocess 发布 GIL，那么选择 threading 选项会更好。

Answer 1

当通过 Python 的subprocess 模块调用需要较长时间的 linux 二进制文件时，是否会释放 GIL？

是的，它在调用过程中释放Global Interpreter Lock (GIL)。

您可能知道，在 POSIX 平台上，subprocess 在fork、execve 和waitpid 的“原始”组件之上提供了便利的接口。

通过检查 CPython 2.7.9 源代码，fork 和 execve不发布 GIL。但是，这些调用不会阻塞，所以我们不希望 GIL 被释放。

waitpid 当然确实阻塞，但我们看到它的实现确实放弃了使用 ALLOW_THREADS 宏的 GIL：

static PyObject *
posix_waitpid(PyObject *self, PyObject *args)
{
....
Py_BEGIN_ALLOW_THREADS
pid = waitpid(pid, &status, options);
Py_END_ALLOW_THREADS
....

这也可以通过从演示多线程 python 脚本调用一些长时间运行的程序来测试，例如 sleep。

Answer 2

由于subprocess 用于运行可执行文件（它本质上是os.fork() 和os.execve() 的包装），使用它可能更有意义。您可以使用subprocess.Popen。比如：

 import subprocess

 process = subprocess.Popen(["binary"])

这将作为一个单独的进程运行，因此不受 GIL 的影响。然后您可以使用Popen.poll() 方法检查子进程是否已终止：

if process.poll():
    # process has finished its work
    returncode = process.returncode

只需确保您没有调用任何等待进程完成其工作的方法（例如Popen.communicate()），以避免您的 Python 脚本阻塞。

如this answer中所述

multiprocessing 用于在现有的函数中运行 (Python) 代码，支持更灵活的通信 进程族。 multiprocessing 模块旨在提供 与线程非常相似的接口和功能，而 允许 CPython 在多个 CPU/内核之间扩展您的处理 尽管有 GIL。

因此，鉴于您的用例，subprocess 似乎是正确的选择。

Answer 3

GIL 不跨越多个进程。 subprocess.Popen 开始一个新进程。如果它启动一个 Python 进程，那么它将拥有自己的 GIL。

如果您只想并行运行一些 linux 二进制文件，则不需要多个线程（或由 multiprocessing 创建的进程）：

from subprocess import Popen

# start all processes
processes = [Popen(['program', str(i)]) for i in range(10)]
# now all processes run in parallel

# wait for processes to complete
for p in processes:
    p.wait()

你可以use multiprocessing.ThreadPool to limit number of concurrently run programs。