delay_job 在生产一段时间后停止运行

Question

在生产中，我们的delayed_job 进程由于某种原因正在死亡。我不确定它是否崩溃或被操作系统杀死或什么。我在delayed_job.log 文件中看不到任何错误。

我可以做些什么来解决这个问题？我正在考虑安装monit 来监控它，但这只会告诉我它何时死去。它不会真正告诉我它为什么会死。

有没有办法让日志文件更健谈，这样我就可以知道它为什么会死掉？

还有其他建议吗？

Answer 1

我遇到了两个导致延迟作业静默失败的原因。第一个是人们在分叉进程中使用 libxml 时的实际段错误（这在一段时间前出现在邮件列表中）。

第二个问题与delayed_job所依赖的1.1.0版本的守护进程有问题（https://github.com/collectiveidea/delayed_job/issues#issue/81），这可以通过使用1.0.10轻松解决，这是我自己的Gemfile所拥有的它。

记录

delayed_job 有日志记录，所以如果工作人员在没有打印错误的情况下死亡，通常是因为它没有抛出异常（例如 Segfault）或外部因素正在杀死进程。

监控

我使用 bluepill 来监控我的延迟作业实例，到目前为止，这在确保作业保持运行方面非常成功。为应用程序运行 bluepill 的步骤非常简单

将 bluepill gem 添加到您的 Gemfile：

 # Monitoring
  gem 'i18n' # Not sure why but it complained I didn't have it
  gem 'bluepill'

我创建了一个 bluepill 配置文件：

app_home = "/home/mi/production"
workers = 5
Bluepill.application("mi_delayed_job", :log_file => "#{app_home}/shared/log/bluepill.log") do |app|
  (0...workers).each do |i|
    app.process("delayed_job.#{i}") do |process|
      process.working_dir = "#{app_home}/current"

      process.start_grace_time    = 10.seconds
      process.stop_grace_time     = 10.seconds
      process.restart_grace_time  = 10.seconds

      process.start_command = "cd #{app_home}/current && RAILS_ENV=production ruby script/delayed_job start -i #{i}"
      process.stop_command  = "cd #{app_home}/current && RAILS_ENV=production ruby script/delayed_job stop -i #{i}"

      process.pid_file = "#{app_home}/shared/pids/delayed_job.#{i}.pid"
      process.uid = "mi"
      process.gid = "mi"
    end
  end
end

然后在我刚刚添加的 capistrano 部署文件中：

# Bluepill related tasks
after "deploy:update", "bluepill:quit", "bluepill:start"
namespace :bluepill do
  desc "Stop processes that bluepill is monitoring and quit bluepill"
  task :quit, :roles => [:app] do
    run "cd #{current_path} && bundle exec bluepill --no-privileged stop"
    run "cd #{current_path} && bundle exec bluepill --no-privileged quit"
  end

  desc "Load bluepill configuration and start it"
  task :start, :roles => [:app] do
    run "cd #{current_path} && bundle exec bluepill --no-privileged load /home/mi/production/current/config/delayed_job.bluepill"
  end

  desc "Prints bluepills monitored processes statuses"
  task :status, :roles => [:app] do
    run "cd #{current_path} && bundle exec bluepill --no-privileged status"
  end
end

希望这会有所帮助。

Answer 2

我遇到的这个问题最常见的情况是由数据库问题（mysql连接错误左右）引起的。默认情况下没有日志。

所以我建议你使用god 来控制你的delayed_job（你可以看到它的日志文件！）。

假设您在 Rails4 中使用延迟作业，您应该：

1.install god gem : $gem install god

2.有这个脚本文件：

# filename: cache_cleaner.god
RAILS_ROOT = '/sg552/workspace/m-api-cache-cleaner'
God.watch do |w| 
  w.name = 'cache_cleaner'
  w.dir = RAILS_ROOT
  w.start = "cd #{RAILS_ROOT} && RAILS_ENV=production bundle exec bin/delayed_job -n 5 start"
  w.stop = "cd #{RAILS_ROOT} && RAILS_ENV=production bundle exec bin/delayed_job stop"
  w.restart = "cd #{RAILS_ROOT} && RAILS_ENV=production bundle exec bin/delayed_job -n 5 restart"
  w.log = "#{RAILS_ROOT}/log/cache_cleaner_stdout.log"
  w.pid_file = File.join(RAILS_ROOT, "log/delayed_job.total.pid")
  # you should NEVER use this config settings: 
  # w.keepalive   (always comment it out! ) 
end

3.要启动/停止/重新启动延迟作业，请将您的命令更改为：

$ bundle exec bin/delayed_job -n 3 start

到：

$ god -c cache_cleaner.god -D  
$ god start/stop/restart cache_cleaner

参考我的个人博客：http://siwei.me/blog/posts/using-delayed-job-with-god