将 pyspark sql 查询输出写入 csv 文件答案

【问题标题】：Write pyspark sql query output to csv file将 pyspark sql 查询输出写入 csv 文件
【发布时间】：2021-09-12 22:30:21
【问题描述】：

我执行 sql 查询、将其转换为 pandas 并写入 csv 文件的代码如下所示，但在执行时会出现错误。

src_query = """从表中选择 *"""

df = spark.sql(src_query).toPandas()

df.write.csv('output.csv', index=False)

这是我在执行时在最后一行看到的错误 - “无效语法” 任何人都可以分享有关如何轻松将 spark 输出写入 csv 文件的任何提示吗？

【问题讨论】：

【解决方案1】：

这是pyspark 的语法。

df.write.csv

但是，您使用此将数据帧转换为 Pandas 数据帧。

df = spark.sql(src_query).toPandas()

因此，df 是 pandas 对象，您需要使用 pandas 语法。

df.to_csv('output.csv', index=False)

【讨论】：

【解决方案2】：

试试这个看看

filename='output.csv'
df.to_csv(file_name, encoding='utf-8', index=False)

【讨论】：