我有一个存储为 RDD 列表的表，我想在其上执行类似于 SQL 或 pandas 中的 groupby 的操作，获取每个变量的总和或平均值。
我目前的做法是这样的（未经测试的代码）：
l=[(3, "add"),(4, "add")]
dict={}
i=0
for aggregation in l:
RDD= RDD.map(lambda x: (x[6], float(x[aggregation[0]])))
agg=RDD.reduceByKey(aggregation[1])
dict[i]=agg
i+=1
然后我需要加入dict中的所有RDD。
虽然这不是很有效。有没有更好的办法？
【问题讨论】：
标签： python apache-spark pyspark
如果您使用 >= Spark 1.3，您可以查看DataFrame API。
在 pyspark 外壳中：
import numpy as np
# create a DataFrame (this can also be from an RDD)
df = sqlCtx.createDataFrame(map(lambda x:map(float, x), np.random.rand(50, 3)))
df.agg({col: "mean" for col in df.columns}).collect()
这个输出：
[Row(AVG(_3#1456)=0.5547187588389414, AVG(_1#1454)=0.5149476209374797, AVG(_2#1455)=0.5022967093047612)]
可用的聚合方法有“avg”/“mean”、“max”、“min”、“sum”、“count”。
要为同一列获取多个聚合，您可以使用显式构造的聚合列表而不是字典调用agg：
from pyspark.sql import functions as F
df.agg(*[F.min(col) for col in df.columns] + [F.avg(col) for col in df.columns]).collect()
或者对于您的情况：
df.agg(F.count(df.var3), F.max(df.var3), ) # etc...
【讨论】：