如何使用 python-requests 和 event hooks 编写带有回调函数的网络爬虫？

Question

我最近看了python-requests 模块，我想用它写一个简单的网络爬虫。给定一组起始 url，我想编写一个 Python 函数，在起始 url 的网页内容中搜索其他 url，然后再次调用相同的函数作为回调，并将新的 url 作为输入，依此类推。起初，我认为event hooks 将是用于此目的的正确工具，但它的文档部分非常稀疏。在another page 上，我读到用于事件挂钩的函数必须返回传递给它们的相同对象。所以事件挂钩对于这类任务显然是不可行的。或者我只是没有做对......

这是我想做的一些伪代码（借自一个伪 Scrapy 蜘蛛）：

import lxml.html    

def parse(response):
    for url in lxml.html.parse(response.url).xpath('//@href'):
        return Request(url=url, callback=parse)

谁能告诉我如何使用 python-requests 做到这一点？事件挂钩是正确的工具还是我需要不同的东西？ （注意：由于各种原因，我不能选择 Scrapy。）非常感谢！

Answer 1

我会这样做：

import grequests
from bs4 import BeautifulSoup


def get_urls_from_response(r):
    soup = BeautifulSoup(r.text)
    urls = [link.get('href') for link in soup.find_all('a')]
    return urls


def print_url(args):
    print args['url']


def recursive_urls(urls):
    """
    Given a list of starting urls, recursively finds all descendant urls
    recursively
    """
    if len(urls) == 0:
        return
    rs = [grequests.get(url, hooks=dict(args=print_url)) for url in urls]
    responses = grequests.map(rs)
    url_lists = [get_urls_from_response(response) for response in responses]
    urls = sum(url_lists, [])  # flatten list of lists into a list
    recursive_urls(urls)

我还没有测试过代码，但大致的想法就在那里。

请注意，我使用 grequests 而不是 requests 来提高性能。 grequest 基本上是 gevent+request，根据我的经验，由于您检索与 gevent 异步的链接，这种任务的速度要快得多。

---

编辑：这是相同的算法，但不使用递归：

import grequests
from bs4 import BeautifulSoup


def get_urls_from_response(r):
    soup = BeautifulSoup(r.text)
    urls = [link.get('href') for link in soup.find_all('a')]
    return urls


def print_url(args):
    print args['url']


def recursive_urls(urls):
    """
    Given a list of starting urls, recursively finds all descendant urls
    recursively
    """
    while True:
        if len(urls) == 0:
            break
        rs = [grequests.get(url, hooks=dict(args=print_url)) for url in urls]
        responses = grequests.map(rs)
        url_lists = [get_urls_from_response(response) for response in responses]
        urls = sum(url_lists, [])  # flatten list of lists into a list

if __name__ == "__main__":
    recursive_urls(["INITIAL_URLS"])