Rails Rake 任务显示执行过期消息和程序停止

Question

我有一个使用回形针从表格网站加载汽车图像的 rake 任务。图像作为远程链接存储在数据库中。

这是我的代码，我使用的是 ruby​​ 1.8.7、rails 2.3.8 和 DB mysql。

namespace :db do

  task :load_photo  => :environment do
  require 'rubygems'
  require 'open-uri'
  require 'net/http'
  require 'paperclip'
  begin
  images =Website.find(:all,:conditions=>["image_url is not null"])
  images.each do |photo|
     url = URI.parse(photo.image_url)
     Net::HTTP.start(url.host, url.port) do |http|
         if http.head(url.request_uri).code == "200"
           Car.update_attribute(:photo,open(url))
         end
     end
  end
  rescue Exception => e
  end
 end 
 end 

通过 db:load_photo 运行上述 rake 任务。在我的表（网站）中有 60,000 行。仅运行最多 10000 行的 Rake 任务，执行终止并显示错误消息 “执行已过期”。

谁能帮我解决这个问题？

提前致谢。

Answer 1

您可能会发现批量运行它的性能更高，活动记录有一个find_in_batches 方法，可以停止一次将所有记录加载到内存中。

http://ryandaigle.com/articles/2009/2/23/what-s-new-in-edge-rails-batched-find

您可以将代码更改为：

namespace :db do
  task :load_photo  => :environment do
    require 'rubygems'
    require 'open-uri'
    require 'net/http'
    require 'paperclip'
    Website.find_in_batches(:conditions=>["image_url is not null"]) do |websites|
      websites.each do |website|
        begin
          url = URI.parse(website.image_url)
          Net::HTTP.start(url.host, url.port) do |http|
            if http.head(url.request_uri).code == "200"
              Car.update_attribute(:photo,open(url))
            end
          end
        rescue Exception => e
        end
      end
    end
  end 
end

Answer 2

我只能猜测，但看起来您正在对要从中提取图像的服务器进行小型 DoS 攻击。

您可以尝试在连续请求之间稍稍延迟播放（例如“sleep 1”）。

另外，如果你的“执行过期”是一个 Timeout::Error 异常，那么你不能用

rescue Exception => e

因为 Timeout::Error 不是 StandardError 的子类，它是 Interrupt 类的子类。你必须明确地抓住它，像这样：

rescue Timeout::Error => e