通过 CSS 选择器抓取答案

【问题标题】：Scraping through CSS selectors通过 CSS 选择器抓取
【发布时间】：2021-06-10 22:26:06
【问题描述】：

我需要用 Java + Groovy 写一个爬虫..

我想知道是否存在能够解析 HTML 文档并通过简单的 CSS 选择器选择我需要的信息（而不是遍历整个文档树并手动选择我需要的信息）的东西？像 Nokogiri 对于 Ruby 的东西，只是为了让你知道我需要什么..

提前致谢！

【问题讨论】：

【解决方案1】：

我通过使用 Qt Webkit 加载页面并包含 JQuery 来做类似的事情。

这是一个 hack，但适用于我的用例。我需要一个不需要配置的解决方案 - 只需 sudo apt-get install libqt4-webkit 就可以了。

【讨论】：

【解决方案2】：

如果您可以得到浏览器的支持（例如使用浏览器来呈现和创建页面），那么 selenium 将是完美的。这将具有完全支持 Ajax 网站的额外好处。

如果没有，像 webdriver 这样的东西可能会起作用。

我只使用过 Selenium。

【讨论】：

【解决方案3】：

我使用 Selenium RC + jQuery 进行屏幕抓取。

示例代码：HERE

虽然我使用 PHP 作为客户端，但您可以使用任何您喜欢的语言来实现它（只要它可以与 Selenium RC 对话）。

我之前尝试过几个 CSS 选择器库，但老实说，最好的解析器是您的浏览器，Selenium RC 方法虽然不快但非常可靠。

【讨论】：