Python 多线程 - 全局解释器锁

Question

Python threading module 文档是这样说的

在 CPython 中，由于全局解释器锁，只有一个线程可以 立即执行 Python 代码（即使某些面向性能的 图书馆可能会克服这个限制）。如果你想要你的 应用程序以更好地利用计算资源 多核机器，建议使用多处理。然而， 如果你想运行多个线程仍然是一个合适的模型 I/O 密集型任务同时进行。

有人可以解释我是否可以在我的情况下使用线程模块吗？

我将检测网站使用的框架。

这就是我的应用程序的工作原理

• 我的 MySQL 数据库包含大约 1000 万个域（id、域、框架）
• 从数据库中获取 1000 行
• 使用请求模块逐个抓取域
• 检测框架
• 使用结果更新数据库行。

由于我有 1000 万个域，因此需要很长时间。所以我想通过使用线程来加速这个过程。

但我不确定我的应用是否受 I/O 限制。谁能解释一下？

谢谢

Answer 1

我猜，最耗时的活动将是获取所有 url。

所以您的问题的答案是：是的，您的应用很可能是 I/O 绑定的。

您打算逐个抓取域，这将导致非常长的处理时间。你一定要同时做。 in my answer to similar question 描述了一种与抓取网站相关的解决方案。

无论如何，您的 url 的数量似乎真的很大，您可能需要利用将工作分配给多个工作人员的优势 - 为此您可以使用例如芹菜框架。但是，由于您的任务确实受 I/O 限制，如果您的工作人员在多台计算机上工作，最好是独立连接，您将获得一些速度。我在 DigitalOcean 机器上做了类似的任务，效果很好。