Python 多线程 max_workers

Question

根据ThreadPoolExecutor的documentation

如果max_workers 是None 或未给出，它将默认为机器上的处理器数。

如果我不设置这样的值

ThreadPoolExecutor(max_workers=None)

如果我的价值非常低 (2) 是否对性能不利？ python 是否已经为 None 值分配了所有 CPU 进程，而不是为带有数字的值分配 2 个？

Answer 1

首先，您似乎在链接中引用了错误的文档部分，即用于进程而不是线程的部分。 one for concurrent.futures.ThreadPoolExecutor 声明：

3.5版更改：如果max_workers为None或未给定，则默认为机器上的处理器数量，乘以5，假设经常使用ThreadPoolExecutor而不是CPU重叠I/O工作，并且工作人员的数量应该高于 ProcessPoolExecutor 的工作人员数量。

---

由于您使用的是线程，而不是进程，因此假设您的应用程序受 IO 限制，而不是 CPU 限制，并且您将其用于concurrency, not parallelism。您使用的线程越多，您将实现的并发性越高（在一定程度上），但您获得的 CPU 周期越少（因为会有上下文切换）。您必须在典型工作负载下检测您的应用程序，以查看最适合您的方法。对此没有普遍的最佳解决方案。