使用 Apache Spark 和 Scala 解析 JSON 数据

Question

我有这种类型的文件，其中每一行都是一个 JSON 对象，除了前几个单词（见附图）。我想使用 Spark 和 Scala 解析这种类型的文件。我已经使用 sqlContext.read.json(“json 文件的路径”) 进行了尝试，但它给了我错误（损坏的数据），因为整个数据不是 JSON 对象。如何将此 JSON 文件解析为 SQL 数据帧？

Answer 1

试试这个：

val rawRdd = sc.textFile("path-to-the-file")
val jsonRdd = rawRdd.map(_.substring(32)) //32 - number of first characters to ignore

val df = spark.read.json(jsonRdd)