如何计算 pyspark 数据帧中所有列的最小值和最大值的频率？

Question

我有一个 pyspark 数据框，我在其中找出每列的最小/最大值和最小/最大值的计数。我可以使用以下方法选择最小/最大值：
df.select([min(col(c)).alias(c) for c in df.columns])
我也想在同一个数据框中计算最小值/最大值。 我需要的具体输出：
...| col_n | col_m |...
...| xn | xm |... min(col(coln))
...|计数（col_n==xn）|计数（col_m==xm）|...

Answer 1

试试这个，

from pyspark.sql.functions import udf,struct,array
from pyspark.sql.window import Window
tst= sqlContext.createDataFrame([(1,7,2,11),(1,3,4,12),(1,5,6,13),(1,7,8,14),(2,9,10,15),(2,11,12,16),(2,13,14,17)],schema=['col1','col2','col3','col4'])
expr=[F.max(coln).alias(coln+'_max') for coln in tst.columns]
tst_mx = tst.select(*expr)
#%%
tst_dict = tst_mx.collect()[0].asDict()
#%%
expr1=( [F.count(F.when(F.col(coln)==tst_dict[coln+'_max'],F.col(coln))).alias(coln+'_max_count') for coln in tst.columns])
#%%
tst_res = tst.select(*(expr+expr1))

在 expr 中，我刚刚尝试了 max 函数。您可以将其扩展到其他函数，例如 min、mean 等，甚至可以对函数列表使用列表推导。请参阅此答案以了解此类缩放：pyspark: groupby and aggregate avg and first on multiple columns 用于聚合说明，也可用于选择语句。