如何为具有多个分区的 Kafka 主题启动多个消费者？答案

【问题标题】：How can I start multiple consumers for a Kafka topic with multiple partitions?如何为具有多个分区的 Kafka 主题启动多个消费者？
【发布时间】：2020-06-27 10:53:10
【问题描述】：

我最近开始使用 spark 并且必须处理需要在 spark 中使用 Kafka 主题的多个分区的情况。如何启动多个消费者？我是否需要使用相同的组 id 运行同一应用程序的多个实例？或者在启动应用程序时我可以使用任何配置并且它在内部完成这项工作？

【问题讨论】：

结构化流式传输？
@thebluephantom 是的。
当您使用 Spark 直接流式传输时，它将处理来自 Kafka 本身的读取。所以，你不应该担心它。只需尝试 Spark Direct Streaming 的示例代码，看看会发生什么。您也可以使用这些链接； stackoverflow.com/questions/44874873/…cloudblogs.microsoft.com/opensource/2018/07/09/…

标签： apache-spark apache-kafka kafka-consumer-api

【解决方案1】：

传递--num-executors 并为每个执行程序使用多个核心将在 Spark 中创建多个消费者线程

每个消费者线程都映射到一个分区。

使总线程数等于总分区数以最大化分布式吞吐量

【讨论】：