空字段的 Spark CSV 读/写

Question

我想将 Dataframe 的空字段写为空，但它始终写为 NULL。我想将 NULLS 写为 ? 并将空写为空/空白。从 csv 读取时相同。

val df = sqlContext.createDataFrame(Seq(
    (0, "a"),
    (1, "b"),
    (2, "c"),
    (3, ""),
    (4, null)
))    

scala> df.show

|  0|   a|
|  1|   b|
|  2|   c|
|  3|    |
|  4|null|   
+---+----+

df.write.mode(SaveMode.Overwrite).format("com.databricks.spark.csv").option("nullValue","?").save("/xxxxx/test_out")

written output :

0,a
1,b
2,c
3,?
4,?
.option("treatEmptyValuesAsNulls" , "false")

此选项不起作用。

我需要空写成空

0,a
1,b
2,c
3,
4,?

Answer 1

尝试使用sql-

我正在使用火花 2.2。

val ds= sqlContext.sql("select `_1`, case when `_2` is not null then `_2` else case when `_2` is null then '?' else case when `_2` = '' then '' end end end as val "+
      "from global_temp.test");

    ds.write.csv("<output path>");