对同一个解析函数产生多个请求。函数运行的顺序是什么？刮擦

Question

基本上我的程序具有以下结构。

def first_parse:
  for link in links: 
    yield Request(url = link, callback = second_parse)

def second_parse:
   # webDriver.get(url) and crawl data.

我正在使用 selenium Webdriver 从 first_parse 加载 url。对于每个页面，程序都需要一些时间来加载页面并完成工作。但由于某些原因，我总是错过链接中的一些链接。
所以我怀疑当 yield 操作将请求发送到 second_parse 时，但 second_parse 仍在处理上一个请求。所以请求错过了。我说的对吗？
如果没有，当产量发送请求时发生了什么？
例如，如果有 20 个链接，first_parse 将向 second_parse 函数发送 20 个请求。 second_parse 每个请求需要 10 秒，所以当第一个请求在 second_parse 上运行时，其他请求将在队列中等待？还是刚走了？

Answer 1

您在 second_parse() 方法中重复使用相同的 webdriver 实例。我怀疑这是导致问题的原因，因为已经实例化的 webdriver 在当前未完成时导航到不同的页面。您应该在second_parse() 方法中实例化然后关闭webdriver：

def second_parse(self, response):
   webDriver = webdriver.Firefox()
   webDriver.get(url)

   # scrape

   webDriver.close()

这可能会导致多达 20 个浏览器同时处于活动状态。