多列上的多个聚合

Question

我在 Pyspark 框架中使用 Python。 我正在尝试使用 groupby 对不同的列应用不同的聚合

我有一个包含 col1、col2、col3、col4 列的 df 我想做类似的事情： df.groupby("col1").sum("col2", "col3").avg("col4")

但我收到一个错误：

'DataFrame' 对象没有属性 'avg' 回溯（最近一次通话最后）： getattr 中的文件“/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/dataframe.py”，第 1301 行 "'%s' 对象没有属性 '%s'" % (self.class.name, name)) AttributeError: 'DataFrame' 对象没有属性 'avg'

Answer 1

这就是我在模块中的做法：

import pyspark.sql.functions as Functions

df2=df.groupBy('col1').agg(Functions.sum('col2'),Functions.sum('col3'),Functions.avg('col4'))