如何根据 Spark 中两列的值创建新列答案

【问题标题】：How to create a new column based on values of two columns in Spark如何根据 Spark 中两列的值创建新列
【发布时间】：2020-08-13 21:13:44
【问题描述】：

所以，我想在我的数据框中创建一个新列，其行取决于两列中的值，并且还涉及一个条件。

我试过了，但它不起作用。

some_value = ...
df = df.withColumn("new_col", col("col1") if col("col2") == some_value else None)

这样做的正确方法是什么？

【问题讨论】：

你可以看看when和otherwise，如果没有帮助，请创建一个可测试的例子
或 expr 是可能的。
这能回答你的问题吗？ PySpark: Create New Column And Fill In Based on Conditions of Two Other Columns谷歌怎么了？！

【解决方案1】：

一个使用expr的简单例子，也可以使用when：

val df3 = df2.withColumn("new_col", expr("case when c1 = 1 and c2 = 101 then c1 + c2 else 999 end"))

【讨论】：

【解决方案2】：

这对我有用，

 new_col_expr = when(col("col2").eqNullSafe(some_value), col("col1")).otherwise(None)
 df = df.withColumn("new_col", new_col_expr)

【讨论】：

【解决方案3】：

你可以使用when函数。

newval='10002'
df2 = df.withColumn("new_col", when((col("col1") == lit(newval)), "col1").otherwise(None))
df2.show()

【讨论】：