Kafka：如果保留每个分区的顺序，在什么情况下主题的消息会乱序

Question

文章“Kafka in a Nutshell”（https://sookocheff.com/post/kafka/kafka-in-a-nutshell/）的作者指出：

Kafka 对数据一致性和可用性做出以下保证：(1) 发送到主题分区的消息将按照发送顺序附加到提交日志中，(2) 单个消费者实例将按顺序查看消息它们出现在日志中，(3) 当所有同步副本都将消息应用到它们的日志时，一条消息被“提交”，并且 (4) 任何提交的消息都不会丢失，只要至少有一个同步副本处于活动状态.

第一个和第二个保证确保为每个分区保留消息顺序。请注意，不能保证整个主题的消息顺序。 ...

我很好奇作者说的是什么意思：

请注意，不能保证整个主题的消息顺序。

Answer 1

Kafka 主题由多个分区组成，其中消息根据键散列或分区规则（随机、循环、自定义等）附加到每个分区

主题分区基本上通过跨分区分发消息来并行化进程

因此 Kafka 保证每个分区的顺序，但是由于消息是跨分区分布的，我们不能保证全局或每个主题的顺序

如上图生产者向主题发布消息，但它被顺序附加到任何分区，因此

E.g. assume partition selection is a round-robin

    message 1 -> publish to p1 in position 1
    message 2 -> publish to p2 in position 1
    message 3 -> publish to p2 in position 3
    message 4 -> publish to p1 in position 2
    message 5 -> publish to p2 in position 2

等等 因此消费者可以消费消息，但不能与生产者处于相同的顺序。

如果你想要一个全局排序，你只需要 1 个分区。