使用 Mechanize 和 Ruby 解析帧中的数据答案

【问题标题】：Parsing Data in Frames with Mechanize and Ruby使用 Mechanize 和 Ruby 解析帧中的数据
【发布时间】：2012-04-29 17:15:10
【问题描述】：

我正在尝试抓取以下网站，因为 XML 格式错误并且不包含我需要的所有数据：

http://www.cafebonappetit.com/menu/your-cafe/pitzer

但是，当我使用 Mechanize 获取文档时，我只得到：

{meta_refresh}
{title "Collins  | Claremont McKenna Cafés | Café Bon Appétit"}
{iframes}
{frames}
{links
 #<Mechanize::Page::Link "Welcome" "http://www.cafebonappetit.com/">
 #<Mechanize::Page::Link "Our Approach" "javascript://">
 #<Mechanize::Page::Link
 "Kitchen Principles"
 "http://www.cafebonappetit.com/our-approach/kitchen-principles">
 .....
 }

不幸的是，我显然需要了解表格中的内容（我猜它们是 iFrame）。有什么想法吗？

谢谢！

【问题讨论】：

该页面没有任何框架或 iframe。 Mechanize 只是报告有 0 个 iframe、0 个框架、N 个链接和 1 个标题。要查找表格，只需使用 page.search('table')

标签： ruby nokogiri mechanize hpricot

【解决方案1】：

这是一个简单的 mech + Nokogiri 脚本，用于抓取菜单项。

require 'rubygems'
require 'mechanize'
require 'pp'

agent = Mechanize.new
url   = "http://www.cafebonappetit.com/menu/your-cafe/pitzer"
page  = agent.get(url)

#Grab each daily menu
page.search('div#menu-items > table.my-day-menu-table').each do |menu|
  day = menu.xpath('preceding-sibling::div[1]/a').text.strip
  puts day
  fare = []
  #Collect the menu items
  menu.xpath('tr').each do |item|
    fare << item.xpath('td/strong').map(&:text).join(": ")
  end
  pp fare
end

结果（摘录）：

Sunday, May 6th, 2012
["Brunch",
 "chef's table: custom omelet bar",
 "main plate: chicken sanchez",
 "meatless chicken and sauce",
 "options: banana pancakes",
 "stocks: beed barley",
 "vegetable minestrone",
 "Lunch",
 "main plate: steamed broccoli",
 "Dinner",
 "chef's table: pasta bar",
 "farm to fork: sauteed rainbow chard",
 "options: mozzarella sticks",
 "ovens: pizza bar",
 "main plate: roasted herb chicken",
 "baked ziti pasta",
 "steamed carrots and parsnips"]

【讨论】：