Kafka：编写自定义分区器还是只使用 Key？

Question

所以我有一个包含多个分区的 Kafka 主题，并且我正在其上生成消息。我希望我的消息根据用户 ID 进行分区。我可以通过使用 UserId 作为消息键或编写自定义分区器来实现这一点。我如何确定哪个是正确的解决方案，优缺点是什么？

Answer 1

如您所知，使用 user-id 作为键，您确信具有相同 user-id 的消息将始终传送到同一个分区，但您无法决定分区本身。我的意思是默认分区程序会处理键 % number of partitions 上的哈希，以获得目标分区。 如果在您的应用程序中，您需要将具有特定用户 ID 的消息转到特定分区（即，您希望以“A”开头的用户 ID 转到分区 0），则需要编写自定义分区程序。 如果您没有限制，我认为使用用户 ID 作为键的默认分区程序对您来说很好。 无论如何，在发送和接收之后，您都会获得有关分区的信息。