RabbitMQ 有许多小队列来强制执行顺序执行（模式或反模式）？

Question

假设（但更简单）的场景：

• 我的系统中有很多订单。
• 我有影响这些订单的外部触发器（例如 webhook）。它们可能并行发生，并由集群中的不同实例处理。
• 在单个顺序的范围内，我想确保按顺序处理这些事件以避免竞争条件、版本冲突等。
• 可以（并且应该）并行处理不同订单的事件

我目前正在考虑利用 RabbitMQ 的类似设置：

• 为每个订单使用一个队列（动态创建）
• 如果发生事件，将其放入该队列中

这些队列将是短暂的，因此我不会最终获得数百万个队列，但无论如何它应该可以扩展（如果项目大幅增长，我们可以说更低的一位数）。问题是，就 RabbitMQ（或类似）系统而言，这是否是绝对的反模式，或者是否有更好的解决方案来确保顺序执行。

谢谢！

Answer 1

在我看来，创建临时队列可能不是一个好主意，因为创建和删除队列会有相当大的开销。重点应该放在消息消费上。我可以想到以下解决方案：

• 您可以通过构建发布策略来限制队列数量，例如所有 orderId 可被 2 整除的订单进入队列 1，可被 3 整除的订单进入队列 2，依此类推。这将为您提供并行吞吐量以及有限数量的队列，但您必须处理一些额外的发布者逻辑

• 同样的逻辑可以通过单一的pub-sub风格的队列转移到消费者端，然后消费者有责任过滤不需要的orderIds

• 如果您乐于探索其他技术，您也可以研究一下 Kafka，您可以在其中使用 orderId 作为 partitionKey，并使用多个分区来获得并行吞吐量。