Pyspark N 自动加入

Question

我有以下数据框：

df1:
src | dst
 A  |  B
 A  |  C

df2:
src | dst
 B  |  D
 B  |  C
 C  |  D

df3:
src | dst
 D  |  A
 C  |  D

我想加入三个（或 N 个）数据框以获得：

output:
src | dst
 A  |  B
 A  |  C
 B  |  D
 C  |  D
 D  |  A

我已经尝试了几个加入选项（主要是左半），但我没有成功。

Answer 1

我认为您可能需要对所有数据框进行“合并”，然后再进行不同的操作

    val df4 = df1.union(df2).distinct

    val df5 = df3.union(df4).distinct

df5 将是您的最终数据框。

让我知道这是否有效。