如何在pyspark sql中保存表？答案

【问题标题】：How to save a table in pyspark sql?如何在pyspark sql中保存表？
【发布时间】：2016-12-09 22:30:06
【问题描述】：

我想将生成的表格保存到 csv、文本文件或类似文件中，以便能够使用 RStudio 执行可视化。

我正在使用 pyspark.sql 在 hadoop 设置中执行一些查询。我想将我的结果保存在 hadoop 中，然后将结果复制到我的本地驱动器中。

myTable = sqlContext.sql("SOME QUERIES")
myTable.show() # Show my result
myTable.registerTempTable("myTable") # Save as table
myTable.saveAsTextFile("SEARCH PATH") # Saving result in my hadoop

这会返回：
AttributeError: 'DataFrame' 对象没有属性 'saveAsTextFile'

这就是我通常只使用 pyspark 时的做法，即不使用 pyspark.sql。

然后我复制到本地驱动器

hdfs dfs –copyToLocal SEARCH PATH

谁能帮帮我？

【问题讨论】：

标签： python hadoop save pyspark pyspark-sql

【解决方案1】：

您可以将DataFrameWriter 与其中一种受支持的格式一起使用。以 JSON 为例：

myTable.write.json(path)

【讨论】：

谢谢！按理工作:) 有没有办法把它作为 csv 来代替？我尝试了 myTable.write.csv(path)，但它没有用。我正在使用火花 1.6。