在 Pyspark 中合并具有相同列名的数据框

Question

在使用 pyspark 连接时，后缀有什么替代品吗？ 要么 当使用spark.sql(query)

数据框有相同的列，我想保留它们各自的数据框名称作为后缀。

下面的代码是我在 python 中所做的。

df = pd.merge(left = df1, right = df2, on= 'col1', how= 'inner', suffixes= ('_df1', '__df2'))
df = pd.merge(left = df, right = df3, on= 'vin_17', how= 'inner', suffixes= ('','__df3'))
df = pd.merge(left = df, right = df4, on= 'vin_17', how= 'inner', suffixes= ('','__df4'))

这就是我在 pyspark 中的做法，但随后所有列名都在更改，我希望重复的列仅具有 __suffix。

df1 = df1.select(*(col(x).alias(x + '__df1') for x in df1.columns))
df2 = df2.select(*(col(x).alias(x + '__df2') for x in df2.columns))
df3 = df3.select(*(col(x).alias(x + '__df3') for x in df3.columns))

Answer 1

重命名时，您只能过滤 3 个数据框之间的公共列：

def get_common_cols(dfs: list):
    seen = set()
    repeated = set()
    for l in [df.columns for df in dfs]:
        for i in set(l):
            if i in seen:
                repeated.add(i)
            else:
                seen.add(i)

    return list(repeated)

common = get_common_cols([df1, df2, df3])

# rename only if x exists in common_cols
df1 = df1.select(*[col(x).alias(f"{x}__df1" if x in common else x) for x in df1.columns])
df2 = df2.select(*[col(x).alias(f"{x}__df2" if x in common else x) for x in df2.columns])
df3 = df3.select(*[col(x).alias(f"{x}__df3" if x in common else x) for x in df3.columns])