如何在 Spark 中使用 CSV 文件中的 NOT IN

Question

我使用 Spark sql 将数据加载到这样的val 中

val customers = sqlContext.sql("SELECT * FROM customers")

但我有一个单独的 txt 文件，其中包含一列 CUST_ID 和 50,00 行。即

CUST_ID
1
2
3

我希望我的customers val 拥有customers 表中不在 TXT 文件中的所有客户。

使用 Sql 我会通过 SELECT * FROM customers NOT IN cust_id ('1','2','3') 做到这一点

如何使用 Spark 做到这一点？

我已经阅读了 textFile 并且可以打印它的行，但我不确定如何将它与我的 sql 查询匹配

scala> val custids = sc.textFile("cust_ids.txt")
scala> custids.take(4).foreach(println)
CUST_ID
1
2
3

Answer 1

您可以将文本文件作为数据框导入并进行左外连接：

val customers = Seq(("1", "AAA", "shipped"), ("2", "ADA", "delivered") , ("3", "FGA", "never received")).toDF("id","name","status")
val custId = Seq(1,2).toDF("custId")

customers.join(custId,'id === 'custId,"leftOuter")
         .where('custId.isNull)
         .drop("custId")
         .show()


+---+----+--------------+
| id|name|        status|
+---+----+--------------+
|  3| FGA|never received|
+---+----+--------------+