使用 Spark Structured Streaming 从 Kafka 主题读取：发布到 Kafka 主题的多行 JSON 是否可以被 Spark 解析？

【问题标题】：Reading from Kafka topic using Spark Structured Streaming: Can multi-line JSON published to Kafka topic be parsed by Spark?使用 Spark Structured Streaming 从 Kafka 主题读取：发布到 Kafka 主题的多行 JSON 是否可以被 Spark 解析？
【发布时间】：2020-05-20 12:52:33
【问题描述】：

是否可以使用结构化流解析/读取通过 spark 发布到 Kafka 主题的多行 JSON？

【问题讨论】：

标签： apache-spark apache-kafka spark-structured-streaming

【解决方案1】：

如果您使用的是大于 2.2 的 spark 版本，则可以使用以下方法。

 spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

【讨论】：

这用于批处理。对于流式传输它可以使用 spark.readStream .format("kafka") .option("kafka.bootstrap.servers", broker) .option("subscribe", topic).option("multiLine", true) 吗？跨度>