避免写入 pyspark 数据帧中存在的 NULL 字段

Question

我有一个包含以下条目的 spark 数据框 column1 | column2 "a" | "b" "x" | "c" null | "a" null | "b" "x" | null 因此，当我将其转换为胶水动态框架并以 json 格式写入 S3 存储桶时，也会写入空值。 我不想将空字段转换为空字符串或数字等。基本上，如果字段值为空，则不应写入。如何避免写入空字段？

Answer 1

您可以执行类似.na.fill('') 的操作，将您的值默认为空字符串

df = spark.createDataFrame([("a",), ("b",), ("c",), (None,)], ['col'])
df.show()
+----+
| col|
+----+
|   a|
|   b|
|   c|
|null|
+----+

df.na.fill('').show()
+---+
|col|
+---+
|  a|
|  b|
|  c|
|   |
+---+