Pyspark - 用空条件替换值答案

【问题标题】：Pyspark - Replace value with Null ConditionalPyspark - 用空条件替换值
【发布时间】：2020-09-21 16:05:09
【问题描述】：

我需要用 pyspark 中的空值替换我的异常值

df = df.withColumn("rpm", when(df["rpm"] >= 750, None).otherwise(df["rpm"]))

但是我得到了这个错误：

TypeError: condition should be a Column

【问题讨论】：

看起来你在调用otherwise之前关闭了withColumn：df = df.withColumn("rpm", when(df["rpm"] >= 750, None).otherwise(df["rpm"]))？
@anky，在调用 otherwise 后关闭 withColumn 并没有改变输出 - 它返回了相同的错误。谢谢
好的，对我有用，可能是 spark 的版本，除非我遗漏了什么：尝试：df.withColumn("rpm", when(col("rpm") >= 750, None).otherwise(col("rpm")))，导入 col，如果你还没有

【解决方案1】：

Anky 的上述评论有效。谢谢。

df.withColumn("rpm", when(col("rpm") >= 750, None).otherwise(col("rpm")))

【讨论】：