加入两个分区数据框pyspark

Question

我有两个分区级别为 2 的数据帧。数据帧很小，每个大约 100 行。

df1：

col1    columnindex
null        1
null        2
null        3
null        4
100         5
101         6
102         7
103         8
104         9
105         10

df2:

col2    columnindex
100         1
200         2
null        3
null        4
100         5
101         6
null        7
103         8
null        9
105         10

我的最终 df 将是基于 columnindex 的 df1 和 df2 的连接。

col1    col2    columnindex
null    100       1
null    200       2
null    null      3
null    null      4
100     100       5
101     101       6
102     null      7
103     103       8
104     null      9
105     105       10

但是当我按照下面的方式加入两个数据框时，它看起来正在洗牌并给我不正确的结果。有什么办法可以避免洗牌。

df1.join(df2, df1.columnindex == df2.columnindex, 'inner')

Answer 1

这取决于你所说的洗牌是什么意思。

join1 = spark.createDataFrame([(None, 1), (None, 2), (None, 3), (100, 5), (101, 6), (105, 10)], ['col1', 'columnindex'])
join2 = spark.createDataFrame([(100, 1), (200, 2), (None, 3), (100, 5), (101, 6), (None, 10)], ['col2', 'columnindex'])
joined = join1.join(join2, ['columnindex'], 'inner').select(['columnindex', 'col1', 'col2'])
joined.show()

结果：

+-----------+----+----+
|columnindex|col1|col2|
+-----------+----+----+
|          2|null| 200|
|          5| 100| 100|
|          3|null|null|
|          6| 101| 101|
|          1|null| 100|
|         10| 105|null|
+-----------+----+----+

这是一个正确的结果 - 每个 columnindex 对应于两个数据帧中的正确值，如果您进行任何进一步的计算，这应该不是问题。 但是，如果您希望按 columnindex 对值进行排序，则可以使用 orderBy

joined.orderBy('columnindex').show()

+-----------+----+----+
|columnindex|col1|col2|
+-----------+----+----+
|          1|null| 100|
|          2|null| 200|
|          3|null|null|
|          5| 100| 100|
|          6| 101| 101|
|         10| 105|null|
+-----------+----+----+

关于连接的快速说明 - 如果您使用 df1.columnindex == df2.columnindex，这将导致重复的 columnindex 列，您必须在使用 orderBy 对其进行排序之前解决这个问题，这就是为什么将列名称作为如上所述列出join 的参数。