Spark SQL：使用 Kafka 订阅模式选项的结构流式传输

Question

我正在尝试使用 Kafka 进行 Spark SQL 结构流式传输。我正在为 kafka 选项寻找这个强制选项 subscribePattern[Java regex string]。显然只有 3 个值是可能的："assign、"subscribe" 或 "subscribePattern"

当我搜索这个选项时，最有用的信息如下： https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-streaming/spark-streaming-kafka-ConsumerStrategy.html

任何人都可以用通俗的话来告诉我这 3 个选项之间最明显的区别吗？ Spark SQL 会有哪些不同的行为

Answer 1

我对 Spark 不熟悉，但是，对于 Kafka 消费者，有三种选择：

1. assign：手动分配主题分区（即，您可以进行任何您想要的分区分配）。这会禁用消费者组管理，因此，如果您有多个消费者并且想要平衡负载，则需要自己注意不要分配两次分区。
2. 订阅：指定一组你想阅读的主题。消费者组管理将执行分区的实际分配（即，如果您在一个组中有多个消费者，则分区将分配给该组内的所有消费者）
3. pattern：与 (2) 类似，但是您指定一个正则表达式并订阅与该正则表达式匹配的所有主题