如何配置 Scrapy Shell 以使用 BeautifulSoup 解析器答案

【问题标题】：How to configure Scrapy Shell to work with BeautifulSoup parser如何配置 Scrapy Shell 以使用 BeautifulSoup 解析器
【发布时间】：2019-12-23 18:18:24
【问题描述】：

我使用 BeautifulSoup 的默认 html.parser 从任何网页中提取数据，我觉得它比使用 XPATH/CSS 选择器更灵活和更强大的原因很少。我在 Scrapy 之前用 BeautifulSoup 学习了 Web 抓取。而且我想不出办法让 Scrapy Shell 使用 bs4 作为解析器。有可能吗？

【问题讨论】：

它真的更灵活吗？了解 CSS 很有用。

标签： python web-scraping beautifulsoup scrapy

【解决方案1】：

你可以简单地在 shell 中导入 BeautifulSoup 并给它“response.body”的参数

scrapy shell https://stackoverflow.com

    from bs4 import BeautifulSoup
    soup = BeautifulSoup(response.body,'html.parser')
    soup.find('title')

【讨论】：