Spark Streaming 从输入数据中提取模式

【问题标题】：Spark Streaming extracting schema from input dataSpark Streaming 从输入数据中提取模式
【发布时间】：2021-11-24 08:38:12
【问题描述】：

是否可以在火花流中提取 kafka 输入数据的模式？即使我能够从 rdd 中提取模式，当 kafka 主题中有数据时，流式处理工作正常，但当 rdd 为空时无法工作。

【问题讨论】：

【解决方案1】：

Kafka 中的数据以 JSON 格式存储。

JSON 是另一种写入 Kafka 的数据格式。您可以使用内置的 from_json 函数以及预期的架构将二进制值转换为 Spark SQL 结构。

【讨论】：

在提供输入模式（本地文件/模式注册表）时，如果它是 json/avro 格式，我可以处理 kafka 数据。我想知道是否有任何方法可以从传入数据本身中提取架构。