在 Nokogiri 中获取属性值以提取链接 URL答案

【问题标题】：Getting attribute's value in Nokogiri to extract link URLs在 Nokogiri 中获取属性值以提取链接 URL
【发布时间】：2011-10-29 18:36:22
【问题描述】：

我有一个如下所示的文档：

<div id="block">
    <a href="http://google.com">link</a>
</div>

我无法让 Nokogiri 获得 href 属性的值。我想将地址作为字符串存储在 Ruby 变量中。

【问题讨论】：

标签： ruby-on-rails ruby nokogiri

【解决方案1】：

document.css("#block a")["href"]

document 是解析后的 Nokogiri HTML。

【讨论】：

【解决方案2】：

在以各种形式努力解决这个问题后，我决定为自己编写一个伪装成答案的教程。它可能对其他人有帮助。

从这个sn-p开始：

require 'rubygems'
require 'nokogiri'

html = <<HTML
<div id="block1">
    <a href="http://google.com">link1</a>
</div>
<div id="block2">
    <a href="http://stackoverflow.com">link2</a>
    <a id="tips">just a bookmark</a>
</div>
HTML

doc = Nokogiri::HTML(html)

提取所有链接

我们可以使用 xpath 或 css 查找所有元素，然后只保留具有href 属性的元素：

nodeset = doc.xpath('//a')      # Get all anchors via xpath
nodeset.map {|element| element["href"]}.compact  # => ["http://google.com", "http://stackoverflow.com"]

nodeset = doc.css('a')          # Get all anchors via css
nodeset.map {|element| element["href"]}.compact  # => ["http://google.com", "http://stackoverflow.com"]

但有一个更好的方法：在上述情况下，.compact 是必要的，因为搜索也会返回“只是一个书签”元素。我们可以使用更精细的搜索来查找包含href 属性的元素：

attrs = doc.xpath('//a/@href')  # Get anchors w href attribute via xpath
attrs.map {|attr| attr.value}   # => ["http://google.com", "http://stackoverflow.com"]

nodeset = doc.css('a[href]')    # Get anchors w href attribute via css
nodeset.map {|element| element["href"]}  # => ["http://google.com", "http://stackoverflow.com"]

查找特定链接

在<div id="block2">中查找链接

nodeset = doc.xpath('//div[@id="block2"]/a/@href')
nodeset.first.value # => "http://stackoverflow.com"

nodeset = doc.css('div#block2 a[href]')
nodeset.first['href'] # => "http://stackoverflow.com"

如果您知道自己只搜索一个链接，则可以改用at_xpath 或at_css：

attr = doc.at_xpath('//div[@id="block2"]/a/@href')
attr.value          # => "http://stackoverflow.com"

element = doc.at_css('div#block2 a[href]')
element['href']        # => "http://stackoverflow.com"

从相关文本中查找链接

如果您知道与链接关联的文本并想找到它的 url，该怎么办？一点 xpath-fu（或 css-fu）就派上用场了：

element = doc.at_xpath('//a[text()="link2"]')
element["href"]     # => "http://stackoverflow.com"

element = doc.at_css('a:contains("link2")')
element["href"]     # => "http://stackoverflow.com"

从链接中查找文本

如果您想查找与特定链接关联的文本怎么办？没问题：

element = doc.at_xpath('//a[@href="http://stackoverflow.com"]')
element.text     # => "link2"

element = doc.at_css('a[href="http://stackoverflow.com"]')
element.text     # => "link2"

有用的参考资料

除了广泛的Nokorigi documentation，我在写这篇文章时还发现了一些有用的链接：

【讨论】：

【解决方案3】：

data = '<html lang="en" class="">
    <head>
    <a href="https://example.com/9f40a.css" media="all" rel="stylesheet" /> link1</a>
    <a href="https://example.com/4e5fb.css" media="all" rel="stylesheet" />link2</a>
    <a href="https://example.com/5s5fb.css" media="all" rel="stylesheet" />link3</a>
   </head>
  </html>'

这是我对上述 HTML 代码示例的尝试：

doc = Nokogiri::HTML(data)
doc.xpath('//@href').map(&:value)
=> [https://example.com/9f40a.css, https://example.com/4e5fb.css, https://example.com/5s5fb.css]

【讨论】：

【解决方案4】：

html = <<HTML
  <div id="block">
    <a href="http://google.com">link</a>
  </div>
HTML
doc = Nokogiri::HTML(html)
doc.xpath('//div/a/@href')
#=> [#<Nokogiri::XML::Attr:0x80887798 name="href" value="http://google.com">]

或者，如果您想更具体地了解 div：

>> doc.xpath('//div[@id="block"]/a/@href')
=> [#<Nokogiri::XML::Attr:0x80887798 name="href" value="http://google.com">]
>> doc.xpath('//div[@id="block"]/a/@href').first.value
=> "http://google.com"

【讨论】：

【解决方案5】：

doc = Nokogiri::HTML(open("[insert URL here]"))
href = doc.css('#block a')[0]["href"]

变量href 被分配给id 为'block' 的元素内<a> 元素的"href" 属性值。 doc.css('#block a') 行返回一个包含#block a 属性的单项数组。 [0] 以单个元素为目标，这是一个包含所有属性名称和值的散列。 ["href"] 以该哈希内的 "href" 的键为目标并返回该值，该值是一个包含 url 的字符串。

【讨论】：

【解决方案6】：

doc = Nokogiri::HTML("HTML ...")
href = doc.css("div[id='block'] > a")
result = href['href'] #http://google.com

【讨论】：