将 Spark 数据帧写入 ascii JSON答案

【问题标题】：Writing spark dataframe to ascii JSON将 Spark 数据帧写入 ascii JSON
【发布时间】：2018-09-06 06:18:50
【问题描述】：

我正在尝试将 Spark 数据帧编写为 JSON 文件；这最终将被写入 MapR JSON DB 表中。

grp_small.toJSON.write.save("<path>")

这似乎以 snappy.parquet 格式编写 JSON 文件。如何强制将其写为可读的 JSON（txt 格式）？

【问题讨论】：

由于您设置的 sqlContext 配置，它可能正在使用 snappy 压缩和 parquet 格式。 sqlContxt.setConf("spark.sql.parquet.compression.codec","snappy") 为避免这种情况，请使用grp_small.toJSON.saveAsTextFile("path")

【解决方案1】：

您可以将数据帧写入json，其中包含每一行作为可读json 在每一行中。

grp_small.write.json("path to output")

希望这能帮到你！

【讨论】：