在 Linux 服务器中使用 Selenium 运行 Scrapy Web Crawler答案

【问题标题】：Run Scrapy Web Crawler with Selenium in Linux Server在 Linux 服务器中使用 Selenium 运行 Scrapy Web Crawler
【发布时间】：2016-02-25 19:25:53
【问题描述】：

我用 scrapy 和 selenium(python) 开发了一个网络爬虫。它可以在我的本地成功运行。我很好奇我可以将我的整个爬虫项目上传到我的 linux 服务器中，并像在本地一样运行它吗？？？

只有一个问题是在我的本地，当程序运行时，它会打开浏览器并模仿人类的动作，但是在linux服务器中，就像你知道的那样，没有我们可以打开的浏览器。

那么我们可以这样做吗？？？

【问题讨论】：

标签： python linux selenium scrapy web-crawler

【解决方案1】：

您可以使用虚拟显示器来运行无头 X 服务器。

如果还没有安装包，请先安装：

sudo apt-get install xvfb python-pip
sudo pip install pyvirtualdisplay

并在启动 Selenium webdriver 之前添加以下代码：

from pyvirtualdisplay import Display
display = Display(visible=0, size=(800, 600))
display.start()

然后在执行结束时关闭驱动：

display.stop()

【讨论】：

感谢回复我尝试这种方式，并且在开始时似乎工作正常（就像准备一样，因为它输出了我的蜘蛛信息）。但它会永远卡在第一个帖子上。你能给我什么建议吗？
我不太明白这个问题，卡在哪里了？请使用您的代码编辑您的帖子，以便我可以关注它并尝试找出问题。
github.com/HUAZHEYINy/ErrorTest/blob/master/README.md 我将从控制台窗口获得的内容复制到链接中。非常感谢！
我的意思是你的实际代码，我不能只为错误跟踪说明它为什么会卡住。您可以编辑您的帖子以添加它，我会尽力而为。
github.com/HUAZHEYINy/ErrorTest/blob/master/spider.py 回复晚了，这里是源代码。