我可以在不使用 python 实际打开浏览器的情况下将 selenium 与 Scrapy 一起使用吗答案

【问题标题】：Can i use selenium with Scrapy without actual browser opening with python我可以在不使用 python 实际打开浏览器的情况下将 selenium 与 Scrapy 一起使用吗
【发布时间】：2012-11-08 06:10:58
【问题描述】：

我想用scrapy和python做一些网络爬虫。我从互联网上找到了一些使用 selenium 和 scrapy 的代码示例。

我对@987654321@ 了解不多，但只知道它可以自动执行一些网络任务。浏览器实际上会打开并做一些事情。但我不想打开实际的浏览器，但我希望一切都从命令行发生。

我可以在 selenium 和 scrapy 中做到这一点

【问题讨论】：

标签： python selenium scrapy

【解决方案1】：

更新：PhantomJS 被废弃，现在可以直接使用无头浏览器了，比如 Firefox 和 Chrome！

改用 PhantomJS。

你可以在 selenium v2.32.0 中做browser = webdriver.PhantomJS()。

【讨论】：

@user172409255 这应该是最好的答案，因为您要求命令行。因此，您可以使用例如 webdriver.Chrome() 来查看正在发生的事情，然后回退到 webdriver.PhantomJS() 进行生产。或回显结果以查看并坚持使用更快的 Phantom.js
PhantomJS 现在被抛弃，取而代之的是主流浏览器本身提供的无头模式。

【解决方案2】：

您可以将 selenium 与 PyVirtualDisplay 一起使用，至少在 linux 上是这样。

from pyvirtualdisplay import Display
from selenium import webdriver
display = Display(visible=0, size=(1024, 768))
display.start()
browser = webdriver.Chrome()

【讨论】：