numpy 矩阵代数或 python for-loop/list-comprehension 自动利用多处理？

Question

我一直认为 python 列表理解并没有隐含地利用多处理，并且阅读堆栈上的问题（例如this one）也给了我同样的印象。但是，这是我的小实验：

import numpy as np
import time

# some arbitrary data
n = 1000
p = 5
X = np.block([[np.eye(p)], [np.zeros((n-p, p))]])
y = np.sum(X, axis=1) + np.random.normal(0, 1, (n, ))
n_loop = 100000

# run linear regression using direct matrix algebra
def in_sample_error_algebra(X, y):
    beta_hat = np.linalg.inv(X.transpose()@X)@(X.transpose()@y)
    y_hat = X@beta_hat
    error = metrics.mean_squared_error(y, y_hat)
    return error


start = time.time()
errors = [in_sample_error_algebra(X, y) for _ in range(n_loop)]
print('run time =', round(time.time() - start, 2), 'seconds')

运行时间 = 19.68 秒

当这段代码运行时，我的 CPU 的所有 6 个（物理）内核都达到了 100%

更神奇的是，当我从列表推导式更改为 for 循环时，同样的事情发生了。我认为使用.append，必须按顺序完成。见下文：

start = time.time()
errors = []
for _ in range(n_loop):
    errors.append(in_sample_error_algebra(X, y))
print('run time =', round(time.time() - start, 2), 'seconds')

运行时间 = 21.29 秒

有什么理论吗？

Python 3.7.2, numpy 1.15.4

Answer 1

确实，纯 Python 计算并不能从 多线程 中受益。 global interpreter lock (GIL) 防止多个线程同时访问解释器。

然而，multiprocessing 在 Python 中是可能的，因为每个进程都运行自己的 Python 解释器实例。这有性能成本：进程之间的初始化和数据共享不是免费的。通常甚至不值得付出努力。

numpy 的故事不同。 Numpy 主要由用 C 编写的本机函数组成。当 C 代码暂时不需要解释器时，它可以释放 GIL 并允许同时运行不同的 Python 线程。 C 代码还可以生成“非 Python”线程来并行计算。这就是 numpy 中发生的事情。

实际上，numpy 本身不会产生线程（我认为），但许多矩阵/向量和线性代数例程调用低级库 BLAS 和 LAPACK。这些库存在各种实现，其中一些针对多线程进行了优化。您的 numpy 版本显然使用了其中之一。

总之，外部列表推导和for 循环都不是并行运行的，但np.linalg.inv 和矩阵乘积X @ beta_hat 可以在内部运行多个线程。请参阅Parallel Programming with numpy and scipy 了解更多信息。