【发布时间】:2019-04-17 07:52:39
【问题描述】:
我正在编写一个代码,以便能够从我的数据帧制作一个 csv 文件。问题是我的dataFrame中的某些列包含数组值,所以它不会生成csv文件,它只会给我数组错误。
如何将数组的第一个值作为字符串获取?我尝试使用 explode() 但我只能做一次。有没有其他方法可以解决这个问题?
我有这样的事情:
newDf = df.select(col("customer").alias("c"), col("array1").alias("a1"),
col("array2").alias("a2"), explode(col("array3".alias("a32))
然后我做一个 sql 查询来构建我想要的:
newDf.createOrReplaceTempView("csvFileTable")
sqlDF = spark.sql("SELECT c, a1, a2, a3 FROM csvFileTable")
display(sqlDF)
【问题讨论】:
-
您能否发布一个您尝试转换为 csv 的示例 df
-
我已经发布了一个示例
标签: python arrays csv apache-spark dataframe