在 Scrapy 框架中如何知道使用哪个浏览器进行爬取？

Question

我的背景是什么：

• 如您所知，Chrome、Firefox、Safari 上的网站 HTML 结构有很大不同。因此，当我使用 CSS-Selector 从 HTML 结构中获取元素标签中的数据时，有时该标签已在 Chrome 浏览器中具有，而另一个则没有。因此，我只想专注于一个浏览器以减少工作量。
• 当我使用Scrapy框架从url爬取数据时，我不知道Scrapy会使用哪个浏览器来爬取数据。因此，我也不知道返回什么样的 HTML 响应体。我检查了响应，发现有时结构与从 Chrome 获取的结构相同，但有时却不是。 Scrapy 框架似乎使用了许多不同的网络浏览器来抓取数据。

我想要什么：

• 我只想用 Chrome 浏览器抓取 Scrapy 框架中的数据
• HTML 响应正文的结构必须从 Chrome 获取

我问什么：

• 有没有人有任何想法或提示可以帮助我处理这个问题？
• 我可以像 Selenium 那样在 Scrapy Framework 中配置 Webdriver 吗？ （如果可能，请告诉我在哪里以及如何？）

谢谢！

Answer 1

Scrapy 不使用浏览器，它解析静态 html，如 BeautifulSoup。如果你想解析动态页面（javascript生成）使用selenium，如果你愿意，你可以将页面源发送到Scrapy。

要设置 Scrapy 使用自定义用户代理 (Chrome)，在 settings.py 添加

USER_AGENT = Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36

或my_spider.py

class MySpider(scrapy.Spider):
    def start_requests(self):
        yield scrapy.Request(self.start_urls, callback=self.parse, headers={"User-Agent": "Your Custom User Agent"})

Answer 2

你可以在你的设置文件中设置用户代理，像这样

USER_AGENT = 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'

因此，对于 Web 服务器，请求看起来像是从 Chrome 生成的。