【发布时间】:2013-10-09 02:56:22
【问题描述】:
我现在正在开发一个网页爬虫,不幸的是该网站通过ajax生成结果。根据一些编码人员的建议,我尝试使用 selenium,这是一个用于 python 的测试自动化工具。 正如文档中给出的example:
driver = webdriver.Firefox()
执行此代码以打开 Firefox 浏览器。然后做一些事情,比如填写表格、提交等等。
坦率地说,这个例子在我的 PC(ubuntu 12.10)上运行良好,但我的项目最终会转移到 CentOS 服务器上。
我正在考虑的是代码(需要打开浏览器 gui)是否可以通过 ssh 在 CentOS 服务器上成功运行,因为该机器上没有提供诸如 gnome 之类的 KDE .....
如果没有浏览器的gui,代码就不能正常工作,那还有其他的解决办法吗?
任何回复都会被欣赏~
【问题讨论】:
-
看看phantomjs.org,它是一个无头浏览器。我目前在没有 GUI 的服务器上将它与 selenium 结合使用
标签: python user-interface selenium web-crawler