无头浏览器和抓取 - 解决方案 [关闭]答案

【问题标题】：Headless Browser and scraping - solutions [closed]无头浏览器和抓取 - 解决方案 [关闭]
【发布时间】：2013-09-03 13:43:32
【问题描述】：

我正在尝试为浏览器自动测试套件和能够抓取的无头浏览器平台列出可能的解决方案。

浏览器测试/抓取：

Selenium - polyglot 是浏览器自动化的旗舰，Python、Ruby、JavaScript、C#、Haskell 等的绑定，用于 Firefox 的 IDE（作为扩展）用于更快的测试部署。可以充当服务器并具有大量功能。

JAVASCRIPT

PhantomJS - JavaScript，带有屏幕捕获和自动化的无头测试，使用 Webkit。自 1.8 版起，实现了 Selenium 的 WebDriver API，因此您可以使用任何 WebDriver 绑定，并且测试将与 Selenium 兼容
SlimerJS - 类似于 PhantomJS，使用 Gecko (Firefox) 而不是 WebKit
CasperJS - JavaScript，基于 PhantomJS 和 SlimerJS 构建，具有额外的功能
Ghost Driver - JavaScript 为 PhantomJS 实现 WebDriver Wire Protocol。
新 PhantomCSS - CSS 回归测试。一个 CasperJS 模块，用于使用 PhantomJS 和 Resemble.js 自动进行视觉回归测试。
新 WebdriverCSS - Webdriver.io 的插件，用于自动化视觉回归测试
新 PhantomFlow - 通过测试描述和可视化用户流程。一种实验性的 Web 用户界面测试方法。
新 trifleJS - 移植 PhantomJS API 以使用 Internet Explorer 引擎。
新 CasperJS IDE （商业）

NODE.JS

网页抓取/挖掘

Scrapy - Python，主要是一个爬虫/矿工 - 快速，有据可查，可以与 Django Dynamic Scraper 链接以进行良好的挖矿部署，或 Scrapy Cloud 用于 PaaS（无服务器）部署，在终端或服务器独立进程中工作，可以与 Celery 一起使用，构建在 Twisted 之上
Snailer - node.js 模块，尚未测试。
Node-Crawler - node.js 模块，尚未测试。

在线工具

Android 自动化工具

相关链接和资源

问题：

答案：奇美拉似乎朝那个方向发展，结帐Chimera

答案：查看由 rjk 使用基于 ruby 的解决方案创建的列表

请随意编辑此问题并根据需要添加内容！感谢您的贡献！

【问题讨论】：

不知道那是不是你想要的，但我喜欢那个用于抓取网页、检查 dom 等的模块：npmjs.org/package/crawler。它使用 jsdom，您可以使用 jQuery 作为选择器引擎。这个（使用爬虫）看起来也很有趣：npmjs.org/package/snailer
我在 node-phantom 模块上取得了很大的成功。它非常简单，并且有据可查。它确实支持 javascript 注入。
我相信你知道 GhostDriver 是一个使用 phantomJS 的 Selenium-Webdriver 的实现
您可能还会发现这很有帮助：blog.screen-scraper.com/2010/06/28/…
视觉抓取和比较：PhantomCSS 和 PhantomFlow

【解决方案1】：

如果你喜欢 Ruby，你也可以试试：

此外，Nokogiri gem 可用于刮擦：

packt publishing 有一本专门介绍如何利用 nokogiri 进行抓取的书

【讨论】：

【解决方案2】：

http://triflejs.org/ 类似于 phantomjs 但基于 IE

【讨论】：

【解决方案3】：

一种基于JS的Selenium是Dalek.js。它不仅针对自动化前端测试，您还可以使用它进行屏幕截图。它具有适用于所有重要浏览器的网络驱动程序。不幸的是，这些网络驱动程序似乎值得改进（只是不要对 Firefox 说“错误”）。

【讨论】：