Pyspark 3.1.1 使用 kafka 直接流式传输？答案

【问题标题】：Pyspark 3.1.1 direct streaming with kafka?Pyspark 3.1.1 使用 kafka 直接流式传输？
【发布时间】：2021-07-28 23:10:13
【问题描述】：

Pyspark 2.4.7 包含为 kafka 主题创建直接流侦听器的功能 (documentation)

但是，3.1.1（最新）版本的 pyspark 没有这个功能。并且用于 kafka 直接流式传输的 latest documentation 不再包含 python 示例。

我的问题是如何在 kafka 和 pyspark 3.1.1 中使用直接流式传输（不是结构化流式传输）？

【问题讨论】：

【解决方案1】：

自 Spark 2.3.0 起，kafka 0.8 支持已弃用。

spark-streaming-kafka-0-8 支持 Scala、Java、Python，但 spark-streaming-kafka-0-10 不支持 Python。

请参考以下链接

【讨论】：