如何在 Python 中加速 Beautifulsoup？

Question

我尝试在 Python 中使用 Beautifulsoup 解析 50 000 个 url。 解析循环工作：

我发现解析一页的时间是 15 - 18 秒。从页面我抓取了大约 20 个元素。

Beautifulsoup 为什么运行这么慢？如何在 Python 中加速 Beautifulsoup？

Answer 1

确保您了解自己的瓶颈。

第一个也是主要的问题不是 HTML 解析 - 它是“解析工作在循环中”。

这意味着代码是同步/阻塞的 - 在您处理完当前网址之前，您不会处理下一个网址。这绝对是不可扩展。

要解决这个问题，请切换到异步方法 - 例如切换到 Scrapy web-scraping 框架 - 这是目前扩展 web-scraping 项目最自然的举措。

另见：

• Speeding up beautifulsoup

Answer 2

并行处理。

例如

import Queue
import threading 

# will execute parrallel
def taskProcess(q, url):
    q.put(beautifulSoupFunction(url))

urls = ["http://url1.com", "http://url2.com"]

q = Queue.Queue()

for u in urls:
    t = threading.Thread(target=taskProcess, args = (q,u))
    t.daemon = True
    t.start()

s = q.get()
print s