【发布时间】：2017-11-24 23:07:54
【问题描述】：
我正在使用 Spark Streaming 从 Kafka 读取数据（使用 Kafka direct stream API）。
为一个流实例化了多少个 Kafka 消费者？ Kafka消费者的数量是否等于执行者的数量？每个执行器是否实例化一个 Kafka 消费者（具有相同的组 ID）？
【问题讨论】：
标签： apache-spark apache-kafka spark-streaming
【发布时间】：2017-11-24 23:07:54
【问题描述】：
直接接近消费者数量will be exactly the same as the number of Kafka Partitions：
Kafka 0.10 的 Spark Streaming 集成在设计上类似于 0.8 Direct Stream 方法。它提供了简单的并行性，Kafka 分区和 Spark 分区之间的 1:1 对应，以及对偏移量和元数据的访问
以及单独的消费者is initialized for each partition。
【讨论】：
-
它说“分区”的数量是 1:1，而不是“消费者”的数量。
-
谢谢。这就说得通了。一个后续问题：这些消费者是在执行者上创建的吗？我猜是的，但还是想确认一下。