如何转换pyspark数据框？

Question

我必须对类似于 pandas transform 的 pyspark 数据帧执行转换操作。 通过对数据框应用 .summary() 操作，我得到了 pyspark-dataframe 以下。

value   col_a       col_b           col_c
count   14.000000   14.000000       14.000000   
mean    9.928571    3189.785714     155210.857143   
std     7.086979    1413.286904     76682.259154    
min     0.000000    0.000000        0.000000    
25%     5.500000    3152.500000     129994.750000   
50%     9.500000    3596.000000     158677.500000   
75%     12.500000   4007.250000     210596.750000   
max     23.000000   4543.000000     256496.000000   

我想将行转换为列，将列转换为行。如下所示

value   count   mean             std         min 25%        50%      75%         max
col_a   14.0    9.928571        7.086979     0.0  5.50      9.5      12.50      23.0
col_b   14.0    3189.785714     1413.286904  0.0  3152.50   3596.0   4007.25    4543.0
col_c   14.0    155210.857143   76682.259154 0.0  129994.75 158677.5 210596.75  256496.0

另外，transform 之前的列不固定。为了解释问题，我采用了 3 列 col_a、col_b、col_c。但在真实场景中，最高可达 10k。

在 pandas 中，我可以通过以下方式实现：-

     transformed_df = df.T

Answer 1

根据您的评论，由于枢轴不可用，我的替代解决方案有点冗长

cols = ['col_a', 'col_b', 'col_c']
metrics = ['count', 'mean', 'std', 'min', '25%', '50%', '75%', 'max']

(df
    .withColumn('keys', F.array([F.lit(c) for c in cols]))
    .withColumn('values', F.array([F.col(c) for c in cols]))
    .withColumn('maps', F.map_from_arrays('keys', 'values'))
    .select(F.col('value').alias('metric'), F.explode('maps').alias('col', 'value'))
    .groupBy('col')
    .agg(
        F.collect_list('metric').alias('keys'),
        F.collect_list('value').alias('values')
    )
    .withColumn('maps', F.map_from_arrays('keys', 'values'))
    .select(['col'] + [f'maps.{c}' for c in metrics])
    .show(10, False)
)

# Output
+-----+-----+-------------+------------+---+---------+--------+---------+--------+
|col  |count|mean         |std         |min|25%      |50%     |75%      |max     |
+-----+-----+-------------+------------+---+---------+--------+---------+--------+
|col_b|14.0 |3189.785714  |1413.286904 |0.0|3152.5   |3596.0  |4007.25  |4543.0  |
|col_c|14.0 |155210.857143|76682.259154|0.0|129994.75|158677.5|210596.75|256496.0|
|col_a|14.0 |9.928571     |7.086979    |0.0|5.5      |9.5     |12.5     |23.0    |
+-----+-----+-------------+------------+---+---------+--------+---------+--------+