java kafka通过唯一键获取分区中的消息偏移量

Question

如果我所有的 kafka 消息都包含唯一键，那么在代理的分区中使用唯一键查询消息偏移量的最快方法是什么？假设我已经知道这个消息必须存在于这个代理和这个分区中。

例如，我可以考虑的一种方法是重新处理分区内的所有消息，然后停止直到找到特定的键。但是，如果您有超过一百万条消息，处理每条消息确实是在浪费时间。

换句话说，是否有任何 kafka API 可以直接在 Kafka 服务器上进行此检查？

Answer 1

Kafka 的工作方式如您所料，它按顺序读取消息。您不能直接访问某些记录。但是您可以做的节省时间的方法是为该主题创建多个分区，然后通过让您知道分区是什么的键（您必须谷歌它如何获取分区号）然后您只从该分区消费。所以说如果你在一个主题中有1 000 000 记录，那么如果你创建100 分区，你只需要扫描10 000 记录并找到你的。

Answer 2

我建议使用Kafka Streams:

使用 KStream.transform() 并通过ProcessorContext 获得对消息偏移量的访问。然后在结果之上构建 KTable 或使用Interactive Queries。