AMQP/RabbitMQ - 按顺序处理消息

Question

我有一个直接交换。还有一个队列，绑定到这个交换。

该队列有两个消费者。消费者在完成相应的处理后手动确认消息。

消息按逻辑排序/排序，并应按该顺序处理。是否可以强制在消费者 A 和消费者 B 之间按顺序接收和处理所有消息？也就是说，防止A和B同时处理消息。

注意：消费者不共享相同的连接和/或通道。这意味着我不能使用<channel>.basicQoS(1);。

这个问题的基本原理：两个消费者是相同的。如果其中一个出现故障，另一个队列将开始处理消息，并且一切都会继续工作，无需任何干预。

Answer 1

在您需要冗余消费者但需要以特定顺序处理消息的情况下，一种处理故障转移的方法是在设置绑定到队列时使用独占消费者选项，并让两个消费者不断尝试即使他们无法获得排他锁，也要绑定。

过程是这样的：

1. 消费者 A 首先启动并作为独占消费者绑定到队列。消费者 A 开始处理队列中的消息。
2. 接下来消费者 B 开始并尝试以独占消费者的身份绑定到队列，但由于队列已经有独占消费者而被拒绝。
3. 消费者 B 反复尝试在队列中获取独占绑定但被拒绝。
4. 托管消费者 A 的进程崩溃。
5. 消费者 B 尝试作为独占消费者绑定到队列，并且这次成功。消费者 B 开始处理队列中的消息。
6. 消费者 A 重新联机，并尝试独占绑定，但现在被拒绝。
7. 消费者 B 继续按 FIFO 顺序处理消息。

虽然这种方法不提供负载分担，但它确实提供了冗余。

Answer 2

即使这已经被回答了。可能这可以帮助其他人。 ActiveMQ 有一个称为 Single Active Consumer 的功能，它与您的情况相匹配。

我们可以将 N 个消费者附加到一个队列，但其中只有 1（一个）会主动消费队列中的消息。仅当活动消费者失败时才会发生故障转移。

请看链接https://www.rabbitmq.com/consumers.html#single-active-consumer

谢谢

Answer 3

通常，MQ 系统的重点是分配工作负载。当然，在某些情况下，消息 N 的处理取决于消息 N-1 的处理结果，甚至取决于 N-1 消息本身。

如果 A 和 B 不能同时处理消息，那么为什么不只拥有 A 或只拥有 B？在我看来，拥有 2 个消费者并没有节省任何东西，只有当另一个消费者不工作时，一个消费者才能工作......

在您的情况下，最好有一个消费者，但实际上在处理部分进行并行化（实际上不是一个词）。

只是补充一点，RMQ 将消息均匀地分发给所有消费者（以循环方式），而不管任何标准。当然，这是当 prefetch 设置为 1 时，默认情况下是这样。有关here 的更多信息，请查找“公平调度”。