将抓取的链接存储在数组中，然后调用函数来抓取这些内容

Question

我在显示多篇文章的商店页面上。我已经可以看到我通过“links_with”获得的所有文章链接。现在我想在一个新功能中抓取文章页面上的内容。我可以到达那里，但我只有一个地址，我想抓取包含内容的多个页面。有没有办法用数组和一些循环来解决这个问题？我是 Ruby 新手，我无法自己解决这个问题。

def self.configureCrawler(page_URL)
  agent = Mechanize.new
  page = agent.get(page_URL)

  article_links = page.links_with(href: %r{.*/p/}) #all links with /p/ in address

  article_links.uniq { |link| link.uri }.each do |link| #no double entries
    link.click
    @target_URL = page.uri + link.uri #full url
    puts "#{@target_URL}"
  end

  startCrawler(@target_URL)
end


def self.startCrawler(article_URL) #the crawling process itself
  page = Nokogiri::HTML(open(article_URL))

  @id = page.css('CSS STUFF').text.
  @name = page.css('CSS STUFF').text
  @price = page.css('CSS STUFF').text
  #...

  puts "id: #{@id}"
  puts "name: #{@name}"
  puts "price: #{@price}"
end

Answer 1

如果我理解正确，您可以使用 map 而不是 each。
map 也可以迭代低谷但返回值。

试试这样的

def self.configureCrawler(page_URL)
  agent = Mechanize.new
  page = agent.get(page_URL)

  article_links = page.links_with(href: %r{.*/p/}) #all links with /p/ in address

  article_links.uniq { |link| link.uri }.map do |link| #no double entries
    link.click
    target_URL = page.uri + link.uri #full url
    puts "#{target_URL}"
    startCrawler target_URL
  end
end

这样self.configureCrawler 将返回startCrawler 调用的结果数组。
您也不需要在self.startCrawler 中使用实例变量（删除@）。

def self.startCrawler(article_URL) #the crawling process itself
  page = Nokogiri::HTML(open(article_URL))

  id = page.css('CSS STUFF').text.
  name = page.css('CSS STUFF').text
  price = page.css('CSS STUFF').text

  puts "id: #{id}"
  puts "name: #{name}"
  puts "price: #{price}"

  { id: id, name: name, price: price } # do not forget to return value, for example such hash
end