通过检查值是否在列表中以及其他条件来过滤 Spark DataFrame答案

【问题标题】：Filter Spark DataFrame by checking if value is in a list, with other criteria通过检查值是否在列表中以及其他条件来过滤 Spark DataFrame
【发布时间】：2016-03-03 01:53:12
【问题描述】：

作为一个简化的示例，我尝试使用以下代码过滤 Spark DataFrame：

val xdf = sqlContext.createDataFrame(Seq(
  ("A", 1), ("B", 2), ("C", 3)
)).toDF("name", "cnt")
xdf.filter($"cnt" >1 || $"name" isin ("A","B")).show()

然后出错：

org.apache.spark.sql.AnalysisException: cannot resolve '((cnt > 1) || name)' due to data type mismatch: differing types in '((cnt > 1) || name)' (boolean and string).;

正确的做法是什么？在我看来，它在name 列之后停止阅读。它是解析器中的错误吗？我正在使用 Spark 1.5.1

【问题讨论】：

标签： scala apache-spark apache-spark-sql

【解决方案1】：

val list = List("x","y","t") 
xdf.filter($"column".isin(list: _*))

【讨论】：

:_* 是做什么的？
这是 Scala 注释功能。
这是什么意思？
@WalrustheCat 它将列表转换为可变数量的参数。
我相信_: *被称为“splat”（alvinalexander.com/bookmarks/scala/…）

【解决方案2】：

您必须为各个表达式加上括号：

xdf.filter(($"cnt" > 1) || ($"name" isin ("A","B"))).show()

【讨论】：

我们可以在列表中有一个正则表达式，所以如果你希望“name”包含值 ["ABC", "DVA"] 那么它应该获取名称中包含这些字母的所有行全名的任何位置？