Spark DataFrame 使列 null 值为空

Question

我用左外连接连接了两个数据框。结果数据框具有空值。如何使它们为空而不是 null。

| id|quantity|
+---+--------
|  1|    null|
|  2|    null|
|  3|    0.04

这是架构

root
|-- id: integer (nullable = false)
|-- quantity: double (nullable = true)

预期输出

| id|quantity|
+---+--------
|  1|        |
|  2|        |
|  3|    0.04

Answer 1

您不能将它们设为“空”，因为它们是双精度值，而空字符串 "" 是字符串。您可以做的最好的事情是将它们保留为空值或使用 fill 函数将它们设置为 0：

val df2 = df.na.fill(0.,Seq("quantity"))

否则，如果你真的想有空数量，你应该考虑将quantity列类型更改为字符串。