【问题标题】:Easy way to get hyperlink info from rendered web page从呈现的网页获取超链接信息的简单方法
【发布时间】:2012-10-18 03:18:59
【问题描述】:

我想以编程方式执行此操作:

给定一个页面 URL,我需要获取页面上的所有链接。重要的是至少要获取3条链接信息:锚文本、href属性值、链接在页面上的绝对位置。

Java CSSBox 库是一个选项,但尚未完全实现(不能同时获取href 属性值,必须通过附加库如Jsoup 进行一些额外的映射)。更重要的是,CSSBox 库渲染页面非常慢。

似乎 Javascript 具有所有可用的功能,但我们必须将 javascript 代码注入页面并编写驱动程序以利用现有浏览器。 Python 和 Ruby 等脚本语言也对此提供支持。我很难找到最方便的工具。

【问题讨论】:

标签: browser html-parsing web-scraping html-rendering


【解决方案1】:

PHP 的 DOM 操作库对您有帮助吗? http://www.php.net/manual/en/book.dom.php

【讨论】:

  • 如果它不会呈现页面,我认为它不起作用。我还需要页面上链接元素的绝对位置。
  • @TerryLi 抱歉我错过了那部分,也许你可以尝试使用phantomjs.org
猜你喜欢
  • 2023-03-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-06-30
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多