pandas 数据透视表：通过 aggfunc 计算加权平均值

Question

我有一个关于教育和收入的 pandas 数据框，基本上看起来像这样。

import pandas as pd
import numpy as np

data = {
    'education': ['Low', 'High', 'High', 'Medium', 'Low', 'Low', 'High', 'Low', 'Medium', 'Medium'],
    'income': [1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
    'weights': [11, 12, 13, 14, 15, 16, 17, 18, 19, 20]
}
    
df = pd.DataFrame(data, columns=['education', 'income', 'weights'])

print(df)

  education  income  weights
0       Low       1       11
1      High       2       12
2      High       3       13
3    Medium       4       14
4       Low       5       15
5       Low       6       16
6      High       7       17
7       Low       8       18
8    Medium       9       19
9    Medium      10       20

我创建了一个数据透视表，用于计算每个教育类别的平均收入，如下所示：

pivot_educ_inc = pd.pivot_table(df, 
                                values='income',
                                index='education',
                                aggfunc=np.mean)

print(pivot_educ_inc)

             income
education          
High       4.000000
Low        5.000000
Medium     7.666667

我真正想要的是使用我的权重列来获取每个教育级别的加权收入平均值。但是我找不到一种方法来定义我可以分配给 aggfunc 并且可以做到这一点的加权均值函数。

对我来说，简单地创建一个加权数据集并不方便（可能吗？），因为权重加起来超过 1 亿。此外，理想情况下，我想使用 aggfunc 参数，因为我的数据集中有更多列，例如教育，我想计算加权平均值，其中一些列有 25 个以上的类别。

我可能完全忽略了这里的某些东西，但我被难住了。

Answer 1

我是pivot_table 的忠实粉丝，所以这里有一个使用它的解决方案：

pivot = df.pivot_table(values='income',
                       index='education',
                       aggfunc=lambda rows: np.average(rows, weights=df.loc[rows.index, 'weights']))

生成的数据框如下：

             income
education          
High       4.333333
Low        5.433333
Medium     8.056604

Answer 2

我会添加一个带有加权和的附加列。然后会是这样的：

df = pd.DataFrame(data, columns=['education', 'income', 'weights'])
df['weighted'] = df['income'] * df['weights']


pivot_educ_inc = pd.pivot_table(df, 
                                values=['weights', 'weighted'],
                                index='education',
                                aggfunc=np.sum)

pivot_educ_inc['weighted_avg'] = pivot_educ_inc['weighted'] / pivot_educ_inc['weights']