过滤df时出现pyspark.sql.utils.ParseException错误

Question

我想从 pyspark df 中选择所有行，除了数组包含 1 的某些行。它适用于笔记本中的以下代码：

<pyspark df>.filter(~exists("<col name>", lambda x: x=="hello"))

但是当我这样写的时候：

cond = '~exists("<col name>", lambda x: x=="hello")'
df = df.filter(con)

我收到如下错误：

pyspark.sql.utils.ParseException: 
extraneous input 'x' expecting {')', ','}(line 1, pos 32)

我真的找不到任何错字。如果我错过了什么，有人可以给我提示吗？

谢谢，J

Answer 1

通过变量传入条件，需要写成 expr str 的 spark sql。所以可以修改为：

cond = '!exists(col_name, x -> x == "hello")'