Python 中的 multiprocessing.dummy 未使用 100% cpu

Question

我正在用 Python 做一个机器学习项目，所以我必须做并行预测功能，我在我的程序中使用它。

from multiprocessing.dummy import Pool
from multiprocessing import cpu_count


def multi_predict(X, predict, *args, **kwargs):
    pool = Pool(cpu_count())
    results = pool.map(predict, X)
    pool.close()
    pool.join()
    return results

问题是我所有的 CPU 只加载了 20-40%（总之是 100%）。我使用 multiprocessing.dummy 是因为我在酸洗功能中的多处理模块存在一些问题。

Answer 1

当您使用multiprocessing.dummy 时，您使用的是线程，而不是进程：

multiprocessing.dummy 复制了multiprocessing 的 API 但不是 不仅仅是threading 模块的包装。

这意味着您受到Global Interpreter Lock (GIL) 的限制，并且一次只有一个线程可以实际执行CPU 密集型操作。这将使您无法充分利用 CPU。如果您想在所有可用内核上获得完全并行性，您将需要解决您遇到的multiprocessing.Pool 酸洗问题。

请注意，如果您需要并行化的工作受 IO 限制，或者使用释放 GIL 的 C 扩展，multiprocessing.dummy 可能仍然有用。但是，对于纯 Python 代码，您需要 multiprocessing。