【发布时间】：2020-10-21 07:00:50
【问题描述】：
假设我们有一个 AWS FIFO SQS 队列和两个消息生产者 A 和 B。每条消息都使用与生产者名称相同的组 ID 发送。换句话说，生产者 A 将组 ID“A”添加到每个消息，生产者 B 将组 ID“B”添加到每个消息。我们还有 3 个消费者 X、Y 和 Z 使用可见性超时的消息。假设队列中有 5 条消息——来自生产者 A 的三条消息和来自生产者 B 的两条消息。See the following image
考虑到给定的条件，我们将有以下工作流程：
其中一个消费者，例如 X，从队列中接收组 id 为 B 的消息 1，这使得该消息和组 B 的所有其他消息不可见，直到消息 1 被处理并从队列中删除。
然后另一个消费者，例如 Y，接收到组 id 为 A 的消息 2，这使得消息 2 和组 A 的所有其他消息不可见，直到消息 2 被处理并从队列中删除。
现在我们让消费者 Z 无法消费任何消息，因为组 A 被处理的消息 2 阻塞，组 B 被处理的消息 1 阻塞。
是否有一种技术允许消费者 Z 在给定情况下使用队列中的下一条消息？
更新 1：为什么我使用 FIFO 队列和组 ID？
假设生产者 A 和 B 代表两个用户，并且使用简单队列而不是 FIFO。消息也没有附加组 ID。
假设生产者 A 向队列发送了 100 条消息，然后生产者 B 也只向队列发送了一条消息。生产者 B 的这一条消息必须等到 A 的所有消息都处理完，这不好。我们需要在 A 和 B 的消息之间进行负载平衡，尽管 A 有一百条消息，而 B 只有一条。
为此，让我们尝试添加组 ID，因为只有 FIFO 队列支持它们，我们必须用 FIFO 替换 Simple Queue。现在上述问题解决了。当任何生产者的 A 消息在飞行中时，其中一个消费者将收到生产者 B 的消息，即使该消息在队列的后面。我们现在在 A 和 B 之间进行负载平衡。
但是，当所有组都有消息在传输中时（在这种情况下队列看起来是空的），问题就出现了，但是我们现在有更多可用的消费者无法工作，这也不是太好。
更新 2：建议的可能解决方案。
每个生产者有多个组 ID
假设我们有 10 个消费者和只有一个生产者 A。让我们将 1 到 10 的数字添加到每个消息组 id 加上一些唯一的 id，如果 10 条消息代表一个批次，那么我们将有组 id "A1- batch1"、"A2-batch1"、"A3-batch1" 以此类推，直到 "A10-batch1"。如果生产者 A 有更多消息，我们会增加批号并为另外 10 个生成组 ID，然后再为另外 10 个生成组 ID。现在每个消费者都保证收到一条消息，这很棒。但是如果生产者 B 现在发送一条消息，那么生产者 A 和 B 之间的余额比在最坏的情况下将是 10 比 1，这不是很好。此外，消费者可以横向扩展，因此生产者必须知道当前消费者的大致数量。
每个生产者的单独队列
生产者是当前使用该服务的用户。当用户连接到服务并通知消费者添加的队列时，我们必须创建一个简单队列。消费者必须连续提取每个当前存在的队列，并且即使有消息在传输中也应该能够接收新消息。在这种情况下，负载平衡很好。此解决方案增加了架构的复杂性，但应该可以工作。除非我错过了一些技术限制。
【问题讨论】：
-
如果您想获取与当前正在发送的消息具有相同组 ID 的另一条消息，可能会导致具有相同组 ID 的消息被乱序处理。那么为什么要使用 FIFO 队列呢？
-
感谢您的回复。我更新了问题，解释了为什么要使用 FIFO 队列。希望它能解释我的逻辑。
-
您是否只有 2 个生产者和 3 个以上的消费者？或者你将来可能会有更多的制作人？如果生产者是“客户”，那么您当前的方法是完全可以接受的，但目前只有 2 个生产者。如果生产者超过 2 个，则不会出现这种“阻塞”行为。
-
2 个生产者和 3 个消费者是为了解释的简单。可以有任意数量的生产者和接收者，有时生产者的数量会少于消费者。 FIFO 阻塞行为不允许一次处理来自一个生产者的多条消息，并且简单队列缺少组 ID。我的印象是，我的案子应该很常见，因此可以由不妥协的人解决。
-
您的用例有点不寻常，因为您需要消息组 ID 的功能，但不需要 FIFO。这有点像尝试对消息进行负载平衡。它通常通过拥有单独的队列来解决，例如高优先级队列和普通优先级队列，消费者首先处理高优先级队列。但是，想象一个场景，生产者 A 将 100 条消息放入队列，然后生产者 B 将 100 条消息放入队列，接下来应该拉取哪条消息？您正在寻求“平衡拉动”而不是 FIFO。这是一个不寻常的案例。
标签： amazon-sqs