Pyspark如何更新数据框中所有列的所有空值？

Question

我在 DF 下的某些列中有空值。

现在我需要用 'NA' 更新/替换那些 'null' 值

+-------+------+-----+------+----+
|Product|Canada|China|Mexico| USA|
+-------+------+-----+------+----+
| Orange|  null| 4000|  null|4000|
|  Beans|  null| 1500|  2000|1600|
| Banana|  2000|  400|  null|1000|
|Carrots|  2000| 1200|  null|1500|
+-------+------+-----+------+----+

我找到了'fillna'方法来替换空值

但是我需要更新/替换所有具有空值的列

所以像这样或更好的方法

replaced = df.fillna({str(col):'NA', col for col in df.columns})

感谢任何帮助以获取正确的方法

谢谢

Answer 1

您需要使用 subset() 并传递列名以填充 Null 值

df = df.fillna(0, subset=['Canada', 'China', 'Mexico', 'USA'])

或者，如果您想对所有列使用 fillna() ，请将它们传递给 dictionary ，您也可以指定您的选择:)

df = df.fillna({'Canada':'4', 'China': '5', 'Mexico' : '6', 'USA': '7})

或者，您可以简单地使用下面来用空值填充所有列

df = df.fillna("a_value")