使用 groupBy() 的 pySpark 子数据帧 [重复]

Question

我有一个 pySpark 数据框，想使用 groupBy 操作制作几个子数据框。例如，我有一个像

       subject  relation object 
DF =      s1       p       o1
          s2       p       o2
          s3       q       o3
          s4       q       o4

并希望有一个具有相同关系名称的子数据框，例如

       subject  relation object 
DF1 =      s1       p       o1
           s2       p       o2
       subject  relation object 
DF2 =      s3       q       o3
           s4       q       o4

如果您能分享您的想法如何使用 groupBy() 创建子数据帧，我将不胜感激。

谢谢

Answer 1

您可以分组并创建这样的列表

df_groupby = DF.groupby('relation')

df_list = []
for row in df_groupby.select('relation').distinct().sort('relation').collect(): 
    current_relation = row['relation']
    df_list.append(df_groupby.filter(df_groupby['relation'] == current_relation))