使用 Ruby/Mechanize（和 Nokogiri）从 HTML 中提取单个字符串

Question

我正在从论坛中提取数据。我的脚本based on 工作正常。现在我需要从单个帖子中提取日期和时间（2009 年 12 月 21 日，20:39）。我无法让它工作。我使用 FireXPath 来确定 xpath。

示例代码：

 require 'rubygems'
 require 'mechanize'

   post_agent = WWW::Mechanize.new
    post_page = post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')
    puts  post_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div[2]/text()').to_s.strip
    puts  post_page.parser.at_xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div[2]/text()').to_s.strip
    puts post_page.parser.xpath('//[@id="post1960370"]/tbody/tr[1]/td/div[2]/text()')

我所有的尝试都以空字符串或错误结束。

---

我找不到任何关于在 Mechanize 中使用 Nokogiri 的文档。 The Mechanize documentation在页面底部说：

使用 Mechanize 导航到需要抓取的页面后，然后使用 Nokogiri 方法对其进行抓取。

但是什么方法呢？我在哪里可以通过示例和解释的语法阅读它们？我在Nokogiri's site 上也没有找到任何东西。

Answer 1

拉德克。我要教你怎么钓鱼。

当您致电Mechanize::Page::parser 时，它会为您提供 Nokogiri 文档。所以你的“xpath”和“at_xpath”调用调用了Nokogiri。问题出在您的 xpath 中。一般来说，从你可以开始工作的最通用的 xpath 开始，然后缩小范围。所以，例如，而不是这个：

puts  post_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div[2]/text()').to_s.strip

从这里开始：

puts post_page.parser.xpath('//table').to_html

这会在任何地方获取任何表，然后将它们打印为 html。检查 HTML，看看它带回了哪些表。当你只想要一张时，它可能会抓住几张，所以你需要告诉它如何挑选你想要的一张桌子。例如，如果你注意到你想要的表格有 CSS 类“userdata”，那么试试这个：

puts post_page.parser.xpath("//table[@class='userdata']").to_html

任何时候你没有得到一个数组，你搞砸了 xpath，所以在继续之前修复它。一旦你得到你想要的表，然后尝试获取行：

puts post_page.parser.xpath("//table[@class='userdata']//tr").to_html

如果这可行，那么去掉“to_html”，你现在就有了一个 Nokogiri 节点数组，每个节点都是表格行。

你就是这样做的。

Answer 2

我认为您已从 Firebug 复制了此内容，firebug 为您提供了一个额外的 tbody，而实际代码中可能没有它......所以我的建议是删除该 tbody 并重试。 如果还是不行……那就按照 Wayne Conrad 的流程做最好！