如何编写使用 chrome 的 ruby 网络爬虫？答案

【问题标题】：How do I write a ruby web crawler which uses chrome?如何编写使用 chrome 的 ruby 网络爬虫？
【发布时间】：2013-04-10 16:49:30
【问题描述】：

我有一个 ruby 网络爬虫，目前已编码为在 Firefox 中运行。如何将其切换到 Chrome？

def open_browser()
  tweaked_profile = Selenium::WebDriver::Firefox::Profile.new
  tweaked_profile['nglayout.initialpaint.delay'] = 0
  tweaked_profile.assume_untrusted_certificate_issuer=false
  tweaked_profile['permissions.default.image'] = 2
  tweaked_profile['network.proxy.type'] = 1
  tweaked_profile['network.proxy.http'] = 'ec2proxy.csnzoo.com'
  tweaked_profile['network.proxy.http_port'] = 8080
  driver = Selenium::WebDriver.for :firefox, :profile => tweaked_profile
  $browser = Watir::Browser.new(driver)
end

我应该放弃 watir 并使用 chromedriver 还是 watir 会为此工作？

【问题讨论】：

chromedriver 已死。 watir-webdriver 是要走的路。
chromedriver 还活着，它是让 webdriver 驱动 chrome 浏览器的原因......我想也许你的意思是 chromewatir？
是的，抱歉，我在考虑 chromewatir。 :)

标签： ruby google-chrome selenium watir-webdriver selenium-chromedriver

【解决方案1】：

查看http://watirwebdriver.com/chrome/，其中有以下示例：

profile = Selenium::WebDriver::Chrome::Profile.new
... 
b = Watir::Browser.new :chrome, :profile => profile

此外，这些 SO 问题为抓取网站提供了替代方案：Web crawler in ruby 和 What are some good Ruby-based web crawlers?

【讨论】：