忽略 NaN 的 Pandas 分组和转换

Question

我在对数据框中的非 NA 值进行分组和转换时遇到问题。

所以我的数据框是这样的：

Name	Value
A	1
A	2
A	NaN
B	3
B	7
B	9
B	NaN

我想要的最终输出：

Name	Value	Weight 1	Weight 2
A	1	0.33	0.5
A	2	0.33	0.5
A	NaN	0.33	NaN
B	3	0.25	0.33
B	7	0.25	0.33
B	9	0.25	0.33
B	NaN	0.25	NaN

我知道这听起来可能微不足道，但我无法让 Weight 2 在 Name 列的不同分组类别中完美运行。

这是我获取列Weight 1的方法：

df['Weight 1'] = df.groupby(['Name']).transform(lambda x: 1/len(x))

到目前为止，我尝试关注 Weight 2，但引发了 DivisionByZero 警告。输出不正确。

df['Weight 2'] = df.groupby(['Name']).transform(lambda x: 1/np.sum(~np.isnan(x)))

感谢任何帮助。

Answer 1

count 在计数时忽略空值，size 不会：

grouper = df.groupby('Name')
(df.assign(Weight1 = 1/grouper.Value.transform('size'), 
          Weight2 = 1/grouper.Value.transform('count'))
   .assign(Weight2 = lambda df: np.where(df.Value.notna(), 
                                        df.Weight2, np.nan))
 
  Name  Value   Weight1   Weight2
0    A    1.0  0.333333  0.500000
1    A    2.0  0.333333  0.500000
2    A    NaN  0.333333       NaN
3    B    3.0  0.250000  0.333333
4    B    7.0  0.250000  0.333333
5    B    9.0  0.250000  0.333333
6    B    NaN  0.250000       NaN

Answer 2

您可以使用GroupBy.count 计算每组中的非NaN 值。然后使用pd.Series.map 和pd.Series.mask

mapping = (1 / df.groupby('Name')['Value'].count()).squeeze()
df['Weight 2'] = df['Name'].map(mapping).mask(df['Value'].isna())

  Name  Value  Weight 2
0    A    1.0  0.500000
1    A    2.0  0.500000
2    A    NaN       NaN
3    B    3.0  0.333333
4    B    7.0  0.333333
5    B    9.0  0.333333
6    B    NaN       NaN