在加入 Spark 数据帧时使用过滤条件：Spark/Scala

Question

有人可以建议我在 spark scala 中加入 2 个数据帧时如何使用过滤器。我正在尝试下面的代码。

    var name="abcd"
    var last_name="xyz"

    val df3 = df1.join(df2, df1("id") === df2("id"))
    .filter(df1("name")==='${name}').
    filter(df1("last_name")==='${last_name}')
    .drop(df1("name"))
    .drop(df2("name"))

但出现多个错误。

Answer 1

Spark 不像 java 的 JDBC API，我们需要在 where 条件下用单引号包裹字符串。 你能简单地尝试使用name 不带任何引号和 $ 符号的变量吗

    var name="abcd"
    var last_name="xyz"
    val df3 = df1.join(df2, df1("id") === df2("id"))
    .filter(df1("name")===name && df1("last_name")===last_name)
    .drop(df1("name"))
    .drop(df2("name"))