如何在 Spark 中使用 AND 或 OR 条件答案

【问题标题】：How to use AND or OR condition in when in Spark如何在 Spark 中使用 AND 或 OR 条件
【发布时间】：2017-04-02 21:16:11
【问题描述】：

我想在这种情况下评估两个条件：-

import pyspark.sql.functions as F

df = df.withColumn(
    'trueVal', F.when(df.value < 1 OR df.value2  == 'false' , 0 ).otherwise(df.value))

为此，我得到使用“OR”的“无效语法”

即使我尝试使用嵌套的 when 语句：-

df = df.withColumn(
    'v', 
    F.when(df.value < 1,(F.when( df.value =1,0).otherwise(df.value))).otherwise(df.value)
)

为此，我得到 'keyword can't be an expression' 用于嵌套的 when 语句。

如何在when 中使用多个条件？

【问题讨论】：

这个问题有点老了，但你的'keyword can't be an expression'错误实际上是在内部when中使用单个=而不是==的结果。

【解决方案1】：

pyspark.sql.DataFrame.where 将布尔列作为其条件。使用 PySpark 时，在阅读“列”时考虑“列表达式”通常很有用。

PySpark 列上的逻辑操作使用bitwise operators：

将这些与比较运算符（如<）结合使用时，通常需要括号。

在你的情况下，正确的说法是：

import pyspark.sql.functions as F
df = df.withColumn('trueVal',
    F.when((df.value < 1) | (df.value2 == 'false'), 0).otherwise(df.value))

【讨论】：