Akka 流式处理 Kafka 消费者进程并行

Question

我正在使用 Akka Kafka 连接器开发一个 Kafka 消费者应用程序。 我希望消费者并行处理消息。 我应该选择哪个消费群体Choosing a consumer？ 如何在消费者端配置并行度？

Answer 1

当您谈论 Kafka 和 akka-stream 时，存在不同级别的“并行性”。

Kafka 处理可以通过在一个主题中引入多个分区并让单个 Kafka 消费者按顺序从单个分区消费所有消息来并行处理，即按其序列 ID 或偏移量顺序排列的消息。这允许多个消费者同时从多个分区消费。

Akka 流具有非常顺序的方法，默认情况下它以一种一种方式进行处理。但这当然取决于您的相互关联的流程。我强烈建议阅读this 以了解在akka-stream 中如何使用线程和并发。

您的问题的答案是并行性取决于所有这些方面，而不是取决于选择正确的 akka 流“消费者”（我将其称为 akka 流术语中的源），它主要定义了对偏移量的访问，可以处理后提交。