将 Pandas GroupBy 输出从 Series 转换为 DataFrame答案

【问题标题】：Converting a Pandas GroupBy output from Series to DataFrame将 Pandas GroupBy 输出从 Series 转换为 DataFrame
【发布时间】：2012-05-09 13:27:54
【问题描述】：

我从这样的输入数据开始

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

打印出来的时候是这样的：

   City     Name
0   Seattle    Alice
1   Seattle      Bob
2  Portland  Mallory
3   Seattle  Mallory
4   Seattle      Bob
5  Portland  Mallory

分组很简单：

g1 = df1.groupby( [ "Name", "City"] ).count()

打印会产生一个GroupBy 对象：

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
        Seattle      1     1

但我最终想要的是另一个包含 GroupBy 对象中所有行的 DataFrame 对象。换句话说，我想得到以下结果：

                  City  Name
Name    City
Alice   Seattle      1     1
Bob     Seattle      2     2
Mallory Portland     2     2
Mallory Seattle      1     1

我不太明白如何在 pandas 文档中完成此操作。欢迎任何提示。

【问题讨论】：

另外一个问题：您使用哪个熊猫版本？如果执行前 2 个命令，我得到 g1 为 Empty DataFrame Columns: [] Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]
问题的标题在接受的答案方面具有误导性
@matanster 请问你来这里是为了想知道答案吗？我们可以考虑写一个更准确的答案，并通过问题下方的评论来引导用户的注意力。
@coldspeed 这只是一个典型的 SO 问题，问题标题与问题和答案的内容有很大不同。如果元数据没有那么敌对，那可能是一个有用的方面。
@matanster 我同意，但是我只是想知道您实际上在寻找什么答案，因此它导致您来到这里。

标签： python pandas dataframe pandas-groupby multi-index

【解决方案1】：

g1 这里是一个DataFrame。不过，它有一个分层索引：

In [19]: type(g1)
Out[19]: pandas.core.frame.DataFrame

In [20]: g1.index
Out[20]: 
MultiIndex([('Alice', 'Seattle'), ('Bob', 'Seattle'), ('Mallory', 'Portland'),
       ('Mallory', 'Seattle')], dtype=object)

也许你想要这样的东西？

In [21]: g1.add_suffix('_Count').reset_index()
Out[21]: 
      Name      City  City_Count  Name_Count
0    Alice   Seattle           1           1
1      Bob   Seattle           2           2
2  Mallory  Portland           2           2
3  Mallory   Seattle           1           1

或者类似的东西：

In [36]: DataFrame({'count' : df1.groupby( [ "Name", "City"] ).size()}).reset_index()
Out[36]: 
      Name      City  count
0    Alice   Seattle      1
1      Bob   Seattle      2
2  Mallory  Portland      2
3  Mallory   Seattle      1

【讨论】：

你可以使用：df1.groupby( [ "Name", "City"] ).size().to_frame(name = 'count').reset_index()
第二个使用.reset_index() 的示例在我看来是加入您将从df.groupby('some_column').apply(your_custom_func) 获得的输出的最佳方式。这对我来说并不直观。
为什么要add_suffix？
这在 Python 3 中也是如此吗？我发现返回 pandas.core.groupby.DataFrameGroupBy 对象的 groupby 函数，而不是 pandas.core.frame.DataFrame。
这个答案似乎与最新的 python 和 pandas 无关

【解决方案2】：

我想稍微改变一下Wes给出的答案，因为0.16.2版本需要as_index=False。如果你不设置它，你会得到一个空的数据框。

Source:

如果聚合函数被命名为列，则聚合函数将不会返回您聚合的组，as_index=True 是默认值。分组的列将是返回对象的索引。

传递 as_index=False 将返回您正在聚合的组（如果它们是命名列）。

聚合函数是减少返回对象维度的函数，例如：mean、sum、size、count、std、var、sem、describe ，first，last，nth，min，max。例如，当您执行 DataFrame.sum() 并取回 Series 时会发生这种情况。

nth 可以充当减速器或过滤器，请参阅here。

import pandas as pd

df1 = pd.DataFrame({"Name":["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"],
                    "City":["Seattle","Seattle","Portland","Seattle","Seattle","Portland"]})
print df1
#
#       City     Name
#0   Seattle    Alice
#1   Seattle      Bob
#2  Portland  Mallory
#3   Seattle  Mallory
#4   Seattle      Bob
#5  Portland  Mallory
#
g1 = df1.groupby(["Name", "City"], as_index=False).count()
print g1
#
#                  City  Name
#Name    City
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1
#

编辑：

在0.17.1 及更高版本中，您可以在count 和reset_index 中使用subset，并在size 中使用参数name：

print df1.groupby(["Name", "City"], as_index=False ).count()
#IndexError: list index out of range

print df1.groupby(["Name", "City"]).count()
#Empty DataFrame
#Columns: []
#Index: [(Alice, Seattle), (Bob, Seattle), (Mallory, Portland), (Mallory, Seattle)]

print df1.groupby(["Name", "City"])[['Name','City']].count()
#                  Name  City
#Name    City                
#Alice   Seattle      1     1
#Bob     Seattle      2     2
#Mallory Portland     2     2
#        Seattle      1     1

print df1.groupby(["Name", "City"]).size().reset_index(name='count')
#      Name      City  count
#0    Alice   Seattle      1
#1      Bob   Seattle      2
#2  Mallory  Portland      2
#3  Mallory   Seattle      1

count 和 size 之间的区别在于 size 计算 NaN 值，而 count 不计算。

【讨论】：

我认为这是最简单的方法 - 使用一个很好的事实，您可以使用 reset_index 命名系列列：df1.groupby( [ "Name", "City"]).size().reset_index(name="count")
as_index=False' stopped working in latest versions? I also tried to run df1.groupby(["Name", "City"], as_index=False ).size()` 是否有原因但它不影响结果（可能是因为结果分组是Series 而不是DataFrame
我不确定，但这些列似乎只有 2 列和 groupby。但我不确定，因为我不是熊猫开发者。

【解决方案3】：

关键是使用reset_index()方法。

用途：

import pandas

df1 = pandas.DataFrame( { 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"] } )

g1 = df1.groupby( [ "Name", "City"] ).count().reset_index()

现在您在 g1 中有了新的数据框：

【讨论】：

这行得通，谢谢！澄清一下，count() 函数会计算所有不同的值，因此会自动跳过重复项。之后，reset_index() 会创建一个没有重复的新数据框。

【解决方案4】：

简单地说，这应该可以完成任务：

import pandas as pd

grouped_df = df1.groupby( [ "Name", "City"] )

pd.DataFrame(grouped_df.size().reset_index(name = "Group_Count"))

在这里，grouped_df.size() 提取唯一 groupby 计数，reset_index() 方法重置您想要的列名称。最后，调用 pandas Dataframe() 函数来创建一个 DataFrame 对象。

【讨论】：

查看 .to_frame() 方法：grouped_df.size().to_frame('Group_Count')
reset_index 没有名称参数。
name 的说法也让我感到震惊。原来关键是DataFrameGroupBy.size() 和朋友默认返回一个Series，而不是一个DataFrame。 Series 上的reset_index() 方法确实具有name。默认返回类型可以通过as_index 参数更改为groupby()。这种松散的类型和间接的方法调用使得文档很难浏览！

【解决方案5】：

也许我误解了这个问题，但如果你想将 groupby 转换回数据框，你可以使用 .to_frame()。我想在执行此操作时重置索引，因此我也包含了该部分。

与问题无关的示例代码

df = df['TIME'].groupby(df['Name']).min()
df = df.to_frame()
df = df.reset_index(level=['Name',"TIME"])

【讨论】：

【解决方案6】：

我发现这对我有用。

import numpy as np
import pandas as pd

df1 = pd.DataFrame({ 
    "Name" : ["Alice", "Bob", "Mallory", "Mallory", "Bob" , "Mallory"] , 
    "City" : ["Seattle", "Seattle", "Portland", "Seattle", "Seattle", "Portland"]})

df1['City_count'] = 1
df1['Name_count'] = 1

df1.groupby(['Name', 'City'], as_index=False).count()

【讨论】：

【解决方案7】：

以下解决方案可能更简单：

df1.reset_index().groupby( [ "Name", "City"],as_index=False ).count()

【讨论】：

【解决方案8】：

我已经汇总了数量明智的数据并存储到数据框

almo_grp_data = pd.DataFrame({'Qty_cnt' :
almo_slt_models_data.groupby( ['orderDate','Item','State Abv']
          )['Qty'].sum()}).reset_index()

【讨论】：

【解决方案9】：

这些解决方案仅对我部分有效，因为我正在执行多个聚合。这是我想要转换为数据框的分组示例输出：

因为我想要的不仅仅是 reset_index() 提供的计数，所以我编写了一个手动方法来将上面的图像转换为数据帧。我知道这不是最 Pythonic/pandas 的方式，因为它非常冗长和明确，但这就是我所需要的。基本上，使用上面解释的 reset_index() 方法启动一个“脚手架”数据帧，然后循环分组数据帧中的组配对，检索索引，对未分组的数据帧执行计算，并在新的聚合数据帧中设置值.

df_grouped = df[['Salary Basis', 'Job Title', 'Hourly Rate', 'Male Count', 'Female Count']]
df_grouped = df_grouped.groupby(['Salary Basis', 'Job Title'], as_index=False)

# Grouped gives us the indices we want for each grouping
# We cannot convert a groupedby object back to a dataframe, so we need to do it manually
# Create a new dataframe to work against
df_aggregated = df_grouped.size().to_frame('Total Count').reset_index()
df_aggregated['Male Count'] = 0
df_aggregated['Female Count'] = 0
df_aggregated['Job Rate'] = 0

def manualAggregations(indices_array):
    temp_df = df.iloc[indices_array]
    return {
        'Male Count': temp_df['Male Count'].sum(),
        'Female Count': temp_df['Female Count'].sum(),
        'Job Rate': temp_df['Hourly Rate'].max()
    }

for name, group in df_grouped:
    ix = df_grouped.indices[name]
    calcDict = manualAggregations(ix)

    for key in calcDict:
        #Salary Basis, Job Title
        columns = list(name)
        df_aggregated.loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                          (df_aggregated['Job Title'] == columns[1]), key] = calcDict[key]

如果您不喜欢字典，则可以在 for 循环中内联应用计算：

    df_aggregated['Male Count'].loc[(df_aggregated['Salary Basis'] == columns[0]) & 
                                (df_aggregated['Job Title'] == columns[1])] = df['Male Count'].iloc[ix].sum()

【讨论】：

能否分享您用于解决方案的数据集？非常感谢！

【解决方案10】：

 grouped=df.groupby(['Team','Year'])['W'].count().reset_index()

 team_wins_df=pd.DataFrame(grouped)
 team_wins_df=team_wins_df.rename({'W':'Wins'},axis=1)
 team_wins_df['Wins']=team_wins_df['Wins'].astype(np.int32)
 team_wins_df.reset_index()
 print(team_wins_df)

【讨论】：