【问题标题】:AttributeError: 'NoneType' object has no attribute 'write in PysparkAttributeError:“NoneType”对象没有属性“在 Pyspark 中写入”
【发布时间】:2019-09-26 22:31:15
【问题描述】:

火花:2.4.4 派斯帕克

我已注册临时表并尝试将输出保存到 csv 文件。 但得到错误 "AttributeError: 'NoneType' 对象没有属性 'write'"

data.registerTempTable("data")
output = spark.sql("SELECT col1,col2,col3 FROM data").show(truncate = False)

output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")

请帮忙

【问题讨论】:

    标签: apache-spark pyspark pyspark-sql pyspark-dataframes


    【解决方案1】:

    您将 show() 的结果分配给变量 output 并且 show() 没有返回值。

    所以,你想将 Dataframe 分配给变量output,然后像这样保存它:

    data.registerTempTable("data")
    output = spark.sql("SELECT col1,col2,col3 FROM data")
    output.write.format('.csv').save("D:/BPR-spark/sourcefile/filtered.csv")
    

    【讨论】:

      猜你喜欢
      • 2021-11-07
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-03-10
      • 1970-01-01
      • 2021-09-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多