Sidekiq 和单队列的并发

Question

我有 3 个队列正在运行

User
Follower
Default

用户可以导入他的数据，然后由User 队列完成。 这实际上创造了大量的追随者（多达数百万），并且他们每个人都有一个 after_create 来更新自己，在Follower 队列中。

这里的问题是，50 个用户现在可以创建他们的导入，但我只希望同时完成 1 个导入。先进先出 - 而Follower-Queue 仍应与 100 名同时工作的工人一起工作。 示例：1 个用户导入 500.000 个关注者。然后下一个用户进口 500 万。下一个导入 400。同时加载用户 1 的关注者。

可以吗？

我的 YAML 看起来像这样

:queues:
  - user
  - follower
  - default

文档现在告诉我，用户队列的优先级很高。但是如何判断该队列中只有 1 个作业同时完成？

Answer 1

此功能sidekiq 核心不支持（作者does not want to add 对它有此功能）。但是，有一个外部中间件似乎支持为每个队列设置工作人员限制，即 sidekiq-limit_fetch gem。使用它，您应该能够轻松设置所需的内容：

# sidekiq.yml
:limits:
  user: 1
  follower: 100
  default: 10 # or whatever you like

虽然 gem 代码有点旧，但您的里程可能会有所不同...