这种情况下最好的 Ruby 类设计/模式是什么？

Question

我目前有这个课程，用于使用 Nokogiri 从单个零售商网站上抓取产品。 XPath、CSS 路径详细信息存储在 MySQL 中。

ActiveRecord::Base.establish_connection( 
  :adapter => "mysql2",
  ...
)

class Site < ActiveRecord::Base
  has_many :site_details

  def create_product_links
    # http://www.example.com
    p = Nokogiri::HTML(open(url))
    p.xpath(total_products_path).each {|lnk| SiteDetail.find_or_create_by(url: url + "/" + lnk['href'], site_id: self.id)}
  end    
end

class SiteDetail < ActiveRecord::Base
  belongs_to :site   

  def get_product_data
    # http://www.example.com
    p = Nokogiri::HTML(open(url))
    title = p.css(site.title_path).text
    price = p.css(site.price_path).text
    description = p.css(site.description_path).text
    update_attributes!(title: title, price: price, description: description)
  end 
end

# Execution
@s = Site.first
@s.site_details.get_product_data

我将来会添加更多网站（大约 700 个）。每个站点都有不同的页面结构。所以get_product_data 方法不能按原样使用。我可能不得不使用case or if statement 跳转并执行相关代码。很快这个类就变得又粗又丑（700 个零售商）。

什么是适合这种情况的最佳设计方法？

Answer 1

就像@James Woodward 所说，您将要为每个零售商创建一个类。我要发布的模式分为三个部分：

1. 几个ActiveRecord 类实现了一个通用接口，用于存储您要从每个站点记录的数据
2. 700 个不同的类，一个用于您要抓取的每个站点。这些类实现了抓取网站的算法，但不知道如何将信息存储在数据库中。为此，他们依赖第 1 步中的通用接口。
3. 最后一个类将所有内容联系在一起，运行您在第 2 步中编写的每个抓取算法。

第一步：ActiveRecord接口

这一步很简单。您已经有一个 Site 和 SiteDetail 类。您可以保留它们，以便将您从网站上抓取的数据存储在数据库中。

您告诉Site 和SiteDetail 课程如何从网站上抓取数据。我认为这是不合适的。现在你已经赋予类两个职责：

1. 将数据保存在数据库中
2. 从网站上抓取数据

我们将在第二步创建新的类来处理抓取责任。现在，您可以剥离 Site 和 SiteDetail 类，以便它们仅充当数据库记录：

class Site < ActiveRecord::Base
  has_many :site_details
end

class SiteDetail < ActiveRecord::Base
  belongs_to :site
end

第 2 步：实施刮板

现在，我们将创建处理抓取责任的新类。如果这是一种支持抽象类或接口（如 Java 或 C#）的语言，我们会这样处理：

1. 创建一个IScraper 或AbstractScraper 接口来处理抓取网站的常见任务。
2. 为您要抓取的每个站点实现不同的 FooScraper 类，每个站点都继承自 AbstractScraper 或实现 IScraper。

不过，Ruby 没有抽象类。它所拥有的是鸭子类型和模块混合。这意味着我们将使用这种非常相似的模式：

1. 创建一个SiteScraper 模块来处理抓取网站的常见任务。此模块将假定扩展它的类具有可以调用的某些方法。
2. 为您要抓取的每个站点实现不同的FooScraper 类，每个站点都混合在SiteScraper 模块中并实现模块期望的方法。

看起来像这样：

module SiteScraper
  # Assumes that classes including the module
  # have get_products and get_product_details methods
  #
  # The get_product_urls method should return a list
  # of the URLs to visit to get scraped data
  #
  # The get_product_details the URL of the product to
  # scape as a string and return a SiteDetail with data
  # scraped from the given URL 
  def get_data
    site = Site.new
    product_urls = get_product_urls

    for product_url in product_urls
      site_detail = get_product_details product_url
      site_detail.site = site
      site_detail.save
    end
  end
end 

class ExampleScraper
  include 'SiteScraper'

  def get_product_urls
    urls = []
    p = Nokogiri::HTML(open('www.example.com/products'))
    p.xpath('//products').each {|lnk| urls.push lnk}
    return urls
  end

  def get_product_details(product_url)
    p = Nokogiri::HTML(open(product_url))
    title = p.css('//title').text
    price = p.css('//price').text
    description = p.css('//description').text

    site_detail = SiteDetail.new
    site_detail.title = title
    site_detail.price = price
    site_detail.description = description
    return site_detail
  end
end

class FooBarScraper
  include 'SiteScraper'

  def get_product_urls
    urls = []
    p = Nokogiri::HTML(open('www.foobar.com/foobars'))
    p.xpath('//foo/bar').each {|lnk| urls.push lnk}
    return urls
  end

  def get_product_details(product_url)
    p = Nokogiri::HTML(open(product_url))
    title = p.css('//foo').text
    price = p.css('//bar').text
    description = p.css('//foo/bar/iption').text

    site_detail = SiteDetail.new
    site_detail.title = title
    site_detail.price = price
    site_detail.description = description
    return site_detail
  end
end

...等等，创建一个混合SiteScraper 的类，并为您需要抓取的700 个网站中的每一个实现get_product_urls 和get_product_details。不幸的是，这是该模式中乏味的部分：没有真正的方法可以为所有 700 个站点编写不同的抓取算法。

第 3 步：运行每个 Scraper

最后一步是创建抓取网站的 cron 作业。

every :day, at: '12:00am' do
  ExampleScraper.new.get_data
  FooBarScraper.new.get_data
  # + 698 more lines
end