使用 python 网络爬虫模拟 cookie

Question

我需要一些帮助。我正在尝试使用“请求”库和 BeautifulSoup4 库创建一个网络爬虫，但为了成功，我必须访问一个链接来激活特定的 cookie，以便我搜索该查询的内容。

import requests
from bs4 import BeautifulSoup

def web_spider(max_pages, query):
    page = 1
    while page <= max_pages:
        url = r'http://website.com/search/index?page=' + str(page) + '&q=' + query
        source_code = requests.get(url)
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text)
        for link in soup.finaAll('a', {'class': 'comments_link'}):
            href = 'http://website.com/' + link.get('href')
            print(href)
        page += 1

问题在于某些查询，除非某个 cookie 设置由 url 触发，否则由于未启用正确的 cookie，它不会显示任何内容。根据我的代码的当前功能，我采取的最佳行动方案是什么？

Answer 1

使用Session() object 会自动处理cookies：

session = requests.Session()

def web_spider(max_pages, query):
    page = 1
    while page <= max_pages:
        url = 'http://website.com/search/index'
        params = {'page': page, 'q': query}
        source_code = session.get(url, params=params)
        plain_text = source_code.content
        soup = BeautifulSoup(plain_text)
        for link in soup.select('a.comments_link[href]'):
            href = 'http://website.com/' + link['href']
            print(href)
        page += 1

全局 session 对象现在跟踪所有 cookie。

我还更改了您的代码以使用 params 参数以具有 requests 句柄编码，并且您应该在解析 HTML 时使用 response.content，不 response.text，以确保BeautifulSoup 检测到正确的编码。