使用 Nokogiri 抓取数据答案

【问题标题】：Scraping data using Nokogiri使用 Nokogiri 抓取数据
【发布时间】：2016-05-28 07:02:01
【问题描述】：

我正在尝试使用 Nokogiri 抓取数据。我试图访问的代码是：

<div class="main-header">
    <span>Make More Money</span>
</div>

我只想获得“赚更多钱”的文字。这是我的代码：

url = 'xyz.com'
doc = Nokogiri::HTML(open(url)) 
doc.at_css('main-header span').text

使用这个我得到一个NilClass 错误。我需要做什么来解决这个问题？

【问题讨论】：

【解决方案1】：

main-header 类的 . 丢失。应该是

doc.at_css('.main-header span').text

【讨论】：

感谢您的回答。在HTML元素中的类是JavaScript动态添加的时候可以用吗
不，Nokogiri 不执行 javascript。可以找到一些替代方案，例如在这个问题中：stackoverflow.com/questions/11494994/…
我推荐 Capybara 和 Poltergeist！