Kafka无序消息场景处理

Question

我在 kafka 消息处理中有 3 种类型的负载：

1. category_create
2. 文件夹创建
3. article_create

我在数据库中输入的条目

理想情况下，负载应该按顺序排列： 类别创建 -> 文件夹创建 -> 文章创建， 因为文件夹总是属于某个类别，而文章总是属于某个文件夹。对于 folder_create 处理文件夹的类别应该已经作为 kafka 消息接收。但是在某些情况下，folder_create 加载会在 category_create 之前几毫秒。

如果文件夹创建允许category_create处理然后处理文件夹创建，我可以在spring boot中等待几毫秒。

尝试在 Spring Boot 中使用 @Retry 和 @Recover，但我想这不适合这种情况。

Answer 1

消费者无法处理消息排序，应该在生产者端处理

Answer 2

消费者不能保证订单，应该由生产者完成。

我们有类似的情况，我们在 DB 中创建了一个临时表来存储消息，直到我们收到所需的消息。然后处理数据库中的记录并删除它。

Answer 3

保证消费者以追加顺序消费消息。 在您的情况下，您应该考虑安全生产者按顺序发送消息。为了实现这一点，最好让“max.in.flight.requests.per.connection=1”、“acks=all”另一个是“enable.idempotence=true”。但这些可能会影响您的吞吐量。