具有权重的 nanmean 以计算 pandas .agg 中的加权平均值答案

【问题标题】：nanmean with weights to calculate weighted average in pandas .agg具有权重的 nanmean 以计算 pandas .agg 中的加权平均值
【发布时间】：2020-10-08 04:30:39
【问题描述】：

我在 pandas 聚合中使用 lambda 函数来计算加权平均值。我的问题是，如果其中一个值是 nan，那么整个结果就是该组的 nan。我怎样才能避免这种情况？

df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f', 'h'],columns = ['one', 'two', 'three'])
df['four'] = 'bar'
df['five'] = df['one'] > 0
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
df.loc['b','four'] ='foo'
df.loc['c','four'] ='foo'


        one       two     three four   five found
a  1.046540 -0.304646 -0.982008  bar   True   NaN
b       NaN       NaN       NaN  foo    NaN   foo
c -1.086525  1.086501  0.403910  foo  False   NaN
d       NaN       NaN       NaN  NaN    NaN   NaN
e  0.569420  0.105422  0.192559  bar   True   NaN
f  0.384400 -0.558321  0.324624  bar   True   NaN
g       NaN       NaN       NaN  NaN    NaN   NaN
h  0.656231 -2.185062  0.180535  bar   True   NaN


df.groupby('four').agg(sum=('two','sum'), weighted_avg=('one', lambda x: np.average(x, weights=df.loc[x.index, 'two'])))

           sum  weighted_avg
four                        
bar  -2.942608      0.648173
foo   1.086501           NaN

想要的结果：

           sum  weighted_avg
four                        
bar  -2.942608      0.648173
foo   1.086501     -1.086525

和this question不同，这不是列的实际值没有出现的问题，是nanmean没有加权选项的问题。

另一个数字示例：

     x      y
0   NaN   18.0
1   NaN   21.0
2   NaN   38.0
3  56.0  150.0
4  65.0  154.0

这里我们只返回最后两行的加权平均值，而忽略其他包含 nan 的行。

【问题讨论】：

标签： pandas numpy pandas-groupby weighted-average

【解决方案1】：

对我来说工作实施this 解决方案：

def f(x):
    indices = ~np.isnan(x)
    return np.average(x[indices], weights=df.loc[x.index[indices], 'two'])

df = df.groupby('four').agg(sum=('two','sum'), weighted_avg=('one', f))

print (df)
           sum  weighted_avg
four                        
bar  -2.942607      0.648173
foo   1.086501     -1.086525

编辑：

def f(x):
    indices = ~np.isnan(x)
    if indices.all():
        return np.average(x[indices], weights=df.loc[x.index[indices], 'two'])
    else:
        return np.nan

【讨论】：

看起来不错。有什么方法可以避免零权重 DivisionByzero 错误？
我认为最好确保权重的值至少为 1e-7。这可以通过最大值来实现吗？另外，它可以在 lambda 中完成吗？ df.groupby('four').agg(sum=('two','sum'), weighted_avg=('one', lambda x: np.average(x[~np.isnan(x)], weights=df.loc[x.index[~np.isnan(x)], 'two'])))。 max(weight, 1e-7) 要去哪里？
@Nickpick - 我使用 cistom 函数来避免两次测试缺失值；）第二次需要一些测试。
@Nickpick - 第二个我测试样本数据，首先在foo 更改为foo1 在four 列。因此，如果聚合问题是没有值 - x[indices] 中的空系列，x.index[indices] 中的空索引，因此无法规范化。可能我的测试数据不好，请检查一下。
这个解决方案的问题是，如果有任何 nan 值，它会返回 nan，而不是仅仅忽略 nan 值。如何实现？我们怎样才能避免return np.nan？为什么 index.all() 在~np.isnsn(x) 之后仍然不成立？

【解决方案2】：

这似乎更健壮：

def f(x):
    indices = (~np.isnan(x)) & (~np.isnan(df[weight_column]))[x.index]
    try:
        return np.average(x[indices], weights=df.loc[x.index[indices], weight_column])
    except ZeroDivisionError:
        return np.nan

df = df.groupby('four').agg(sum=('two','sum'), weighted_avg=('one', f))

【讨论】：