使用 Python 同时从多个网站下载图像

Question

我正在尝试使用 Python 在互联网上同时下载多个图像，我已经查看了几个选项，但似乎没有一个令人满意。

我考虑过 pyCurl，但并不真正理解示例代码，而且对于像这样简单的任务来说，这似乎有点矫枉过正。 urlgrabber 似乎是一个不错的选择，但文档说批量下载功能仍在开发中。 我在 urllib2 的文档中找不到任何内容。

是否有实际可行且更易于实施的选项？谢谢。

Answer 1

这并不花哨，但您可以使用urllib.urlretrieve，以及运行它的线程或进程池。

因为它们在网络 IO 上等待，您可以让多个线程同时运行 - 将 URL 和目标文件名粘贴到 Queue.Queue 中，然后让每个线程吸收它们。

如果您使用多处理，那就更简单了——只需创建一个Pool 进程，然后使用函数和可迭代参数调用mypool.map。标准库中没有线程池，但如果您需要避免启动单独的进程，您可以获取第三方模块。