Pyspark 中 LIKE 运算符的等价物是什么？ 例如我想做：
SELECT * FROM table WHERE column LIKE "*somestring*";
寻找像这样简单的东西（但这不起作用）：
df.select('column').where(col('column').like("*s*")).show()
【问题讨论】：
您可以使用where 和col 函数来做同样的事情。 where 将用于根据条件过滤数据（这里是，如果列类似于'%string%'）。 col('col_name') 用于表示条件，like 是运算符：
df.where(col('col1').like("%string%")).show()
【讨论】：
使用 spark 2.0.0 及以下版本也可以正常工作：
df.select('column').where("column like '%s%'").show()
【讨论】：
'%s%' 和 '%r%'，但我只想像你一样使用 LIKE 运算符。
df.select('column').where('(col("foo").like("%s%") & (col("bar").like("%s%")') 你在找这样的东西吗？
使用like 运算符。
https://spark.apache.org/docs/latest/api/python/pyspark.sql.html#module-pyspark.sql.functions
df.filter(df.column.like('%s%')).show()
【讨论】：
嗯...应该有像regexp这样的sql ->
df.select('column').where(col('column').like("%s%")).show()
【讨论】：
要复制不区分大小写的ILIKE，您可以将lower 与like 结合使用。
from pyspark.sql.functions import lower
df.where(lower(col('col1')).like("%string%")).show()
【讨论】：
在 pyspark 中，您始终可以将数据框注册为表格并进行查询。
df.registerTempTable('my_table')
query = """SELECT * FROM my_table WHERE column LIKE '*somestring*'"""
sqlContext.sql(query).show()
【讨论】：
createOrReplaceTempView，而 registerTempTable 已被弃用。
使用spark 2.4, 否定你可以简单地做：
df = df.filter("column not like '%bla%'")
【讨论】：
这对我有用：
import pyspark.sql.functions as f
df.where(f.col('column').like("%x%")).show()
【讨论】：
我总是使用 UDF 来实现这样的功能：
from pyspark.sql import functions as F
like_f = F.udf(lambda col: True if 's' in col else False, BooleanType())
df.filter(like_f('column')).select('column')
【讨论】：
like(...) 慢。这样做的原因是使用 pyspark UDF 要求数据在 JVM 和 Python 之间进行转换。此外，数据帧引擎无法使用 pyspark UDF 优化计划，也无法使用其内置函数优化计划。