在两个数据框之间分离唯一和重复的条目

Question

我将文件加载到数据框中，在将数据框保存到表中之前，我想检查数据框中的任何行是否已存在于表中。

例如 我的表有以下架构

A  B  C 
1  2  3 
2  4  5

我的数据框有以下内容

A  B  C
1  2  5 
2  3  5

唯一性的定义是 A & B 列的组合。因此，在上面的示例中，重复条目是 (1, 2, 5)，因为数据框和表都具有 (1, 2) 作为 A & B 的值。唯一记录是 (2,3,5)，因为表没有 (2,3) 作为 A & B 的值。

所以我想要的输出是两个数据框。一个包含唯一的，即 (2,3,5)，另一个包含重复的，即 (1,2,5)。

让我们将我当前的数据框称为 df1 并将表加载后的数据框称为 df2。

Answer 1

首先，为了获得重复的行，加入数据框，例如：

val df2alias = "df2"
val resultColumns = df2.columns.map(colName => s"$df2alias.$colName")

val duplicates = df1.join(df2.as(df2alias))
  .where(df1("A") === df2("A") && df1("B") === df2("B"))
  .select(resultColumns.head, resultColumns.tail:_*)

duplicates 仅包含 (1, 2, 5) 行。

其次，使用duplicates获取唯一行：

val uniques = df2.except(duplicates)

uniques 仅包含 (2, 3, 5) 行。