配置多台服务器支持sidekiq

Question

我计划将 redis 服务器迁移到运行 sidekiq 的新服务器，但不想停止当前应用程序的运行。而且我不想使用仍然是 alpha 版本的 redis 集群。 我的想法是让sidekiq写到新的redis服务器，但从他们两个拉，这样一旦旧redis中的工人完成，新的工人就可以完全接管所有工人。我认为这个解决方案是可行的，但我不知道如何实现。

这是我的 sidekiq.rb：

sidkiq_config = YAML.load(ERB.new(Rails.root.join('config/redis.yml').read).result)

Sidekiq.configure_server do |config|
  config.logger.level = Logger::ERROR
  config.redis = { :url => "redis://redis2.staging:6379", :namespace => "app_#{Rails.env}:sidekiq" }
  config.redis = { :url => "redis://redis.staging:6379", :namespace => "app_#{Rails.env}:sidekiq" }
end

Sidekiq.configure_client do |config|
  config.logger.level = Logger::ERROR
  config.redis = { :url => "redis://redis2.staging:6379", :namespace => "app_#{Rails.env}:sidekiq" }
end

Answer 1

我认为最简单的解决方案是运行 两个实例 sidekiq - 一个从旧集群读取，一个从新集群读取

sidkiq_config = YAML.load(ERB.new(Rails.root.join('config/redis.yml').read).result)

Sidekiq.configure_server do |config|
  config.logger.level = Logger::ERROR
  if ENV['read_from_new']
    config.redis = { :url => "redis://redis2.staging:6379", :namespace => "app_#{Rails.env}:sidekiq" }
  else 
    config.redis = { :url => "redis://redis.staging:6379", :namespace => "app_#{Rails.env}:sidekiq" }
  end
end

Sidekiq.configure_client do |config|
  config.logger.level = Logger::ERROR
  config.redis = { :url => "redis://redis2.staging:6379", :namespace => "app_#{Rails.env}:sidekiq" }
end

Answer 2

您可以更新到最新版本的 sidekiq 并使用Sharding。

REDIS_A = ConnectionPool.new { Redis.new(...) }
REDIS_B = ConnectionPool.new { Redis.new(...) }

# To create a new connection pool for a namespaced Sidekiq worker:
ConnectionPool.new do
  client = Redis.new(:url => "Your Redis Url")
  Redis::Namespace.new("Your Namespace", :redis => client)
end

# Create a job in the default redis instance
SomeWorker.perform_async

# Push a job to REDIS_A using the low-level Client API
client = Sidekiq::Client.new(REDIS_A)
client.push(...)
client.push_bulk(...)

Sidekiq::Client.via(REDIS_B) do
  # All jobs defined within this block will go to B
  SomeWorker.perform_async
end

要相当 sidekiq，请单击 UI 中的相当按钮