你如何用一组子集的平均值填充 NaN？

Question

我有一个数据框，其中包含year 和type 的一些值。我想用特定类型的那一年值的平均值替换每年的所有 NaN 值。我想以最优雅的方式做到这一点。我正在处理大量数据，因此减少计算量也会很好。

例子：

df =pd.DataFrame({'year':[1,1,1,2,2,2],
                  'type':[1,1,2,1,1,2],
             'val':[np.nan,5,10,100,200,np.nan]})

我希望将所有类型的所有 nan 替换为所有类型 1 的相应年份平均值。

在本例中，第一行 NaN 应替换为 5，最后一行应替换为 150。

这只会填充类型 1 缺失的值，而不是类型 2

df[val]=df[val].fillna(df.query('type==1').groupby('year')[val].transform('mean'))

Answer 1

你想要map:

# calculate mean val of type 1 by year
s = df[df['type'].eq(1)].groupby('year')['val'].mean()

# replace `year` by the above mean, and fill in the Nan
df['val'] = df['val'].fillna(df['year'].map(s))

输出：

   year  type    val
0     1     1    5.0
1     1     1    5.0
2     1     2   10.0
3     2     1  100.0
4     2     1  200.0
5     2     2  150.0

Answer 2

使用fillna 和匹配索引

df['val'] = (df.set_index('year').val
              .fillna(df.query('type == 1').groupby(['year']).val.mean())
              .values)

---

  year  type    val
0     1     1    5.0
1     1     1    5.0
2     1     2   10.0
3     2     1  100.0
4     2     1  200.0
5     2     2  150.0

Answer 3

mask 和 transform

df.fillna({'val': df.val.mask(df.type.ne(1)).groupby(df.year).transform('mean')})

   year  type    val
0     1     1    5.0
1     1     1    5.0
2     1     2   10.0
3     2     1  100.0
4     2     1  200.0
5     2     2  150.0