确保消息的有序处理

Question

所以我有一个微服务架构的情况，我需要保证具有公共标识符的传入消息将按来自 kafka 的顺序进行处理：

      message2, message1 kafka
     ------------------------------
             |message1       |message2
             |               |
         Instace1         Instance2

在下面的示例中，我有两个服务实例正在处理来自 kafka 的消息，但我想确保 message2 仅在 message1 之后处理。

显然，这种情况很容易解决，只需将一个实例配置为仅从特定分区消费，该分区将使用通用标识符存储消息：

message2, message1 kafka
--------------------------------
       | message2
       | message1
     Instance1        Instance2

现在订单有保障，message2 永远不会在message1 之前处理。

但是，我想知道这个问题是否可以通过其他方式解决，直接在代码中而不是依赖于基础架构？这看起来可能是微服务架构中的标准问题，但我不确定解决它的首选方法是什么？

Answer 1

我建议将基础设施作为更“正确”的方式，但应该可以用代码解决这个问题：

如果您有一个消息生产者，请在消息中附加直接在前的消息的标识符，并在使用该消息之前确保您之前使用过直接在前的消息。

如果您有多个生产者，这会有点棘手，因为您必须同步标识符。

再次，我建议基础架构是解决这个问题的更“正确”的方法（您编写的代码越少，复杂度越低，错误就越少）。

Answer 2

Kafka 只保证订购within a partition。

因此，如果您希望在“message2”之前处理“message1”，则需要确保两条消息最终位于同一分区上。那么任何阅读这些消息的消费者都可以保证按照它们产生的顺序看到它们。

Answer 3

您可以禁用自动提交功能并手动提交您使用的消息的偏移量。 查看this 链接以了解如何配置它。 然后，通过拥有一个保存消息的最后使用索引的变量，您可以做您想做的事情，但您必须确保一个单独的代码实例一次可以访问此变量。您可以使用另一个微服务来存储/使用信号量之类的东西来保护这个值。

所以，每个消费者都会等待，直到当前消息之前的所有消息都被消费完，然后开始消费该消息以保存消息的顺序。

但是这种解决方案增加了代码的复杂性，在这种情况下使用多个消费者有什么好处？在最好的情况下，在性能方面，如果您想保存订单或消息，则使用 1 个消费者或 10 个消费者之间没有区别，因为消费者必须等到之前的消息到达。