通过从 pandas 和 scikit-learn 中的非缺失值估计方程来估算缺失值

Question

我有一个如下图所示的数据框

Price        Category      Area
20           Red           100
30           Red           150
10           Red           50
25           Red           NaN
30           Red           NaN
10           Green         30
20           Green         60
30           Green         90
10           Green         30
40           Green         NaN
50           Green         NaN

根据以上，我想分别估算红色和绿色每个类别的面积和价格之间的关系。

例如这里的红色：

Area = 5 * Price

同样适用于格林：

Area = 3 * Price

我想在 pandas 和 scikit-learn 中实现它：

步骤 1. 估计每个类别的面积和价格之间的关系。 2. 根据关系估算缺失值。

我是 python 和编码方面的新手。

Expected output
Price        Category      Area
20           Red           100
30           Red           150
10           Red           50
25           Red           125
30           Red           150
10           Green         30
20           Green         60
30           Green         90
10           Green         30
40           Green         120
50           Green         150

Answer 1

你可以这样做：

1. 使用Area / Price 获取因子
2. GroupByCategory
3. 用ffill 和bfill 填充NaN
4. 将Price 与新因子相乘以创建新的Area 列

df['factors'] = df['Area'] / df['Price']
df['factors'] = df.groupby('Category', sort=False)['factors'].ffill().bfill()

df = df.assign(Area=df['Price'] * df['factors']).drop(columns='factors')

    Price Category  Area
0      20      Red 100.0
1      30      Red 150.0
2      10      Red  50.0
3      25      Red 125.0
4      30      Red 150.0
5      10    Green  30.0
6      20    Green  60.0
7      30    Green  90.0
8      10    Green  30.0
9      40    Green 120.0
10     50    Green 150.0

Answer 2

你也可以使用下面的字典，然后堆叠填充：

d={'Area_Red' : 5 * df['Price'] , 'Area_Green' : 3 * df['Price']}
df_ref=pd.DataFrame(d).rename(columns=lambda x: x.split('_')[1]).stack()
df['Area']=df.set_index('Category',append=True)['Area'].fillna(df_ref).droplevel(1)

如果您只想根据df_ref 获取值并更新Area col（不仅仅是fillna），请将最后一行更改为下面，使用df.lookup：

d={'Area_Red' : 5 * df['Price'] , 'Area_Green' : 3 * df['Price']}
df_ref=pd.DataFrame(d).rename(columns=lambda x: x.split('_')[1]) #without stack
df['Area']=df_ref.lookup(df['Category'].index,df['Category']) 

---

print(df)

    Price Category  Area
0      20      Red   100
1      30      Red   150
2      10      Red    50
3      25      Red   125
4      30      Red   150
5      10    Green    30
6      20    Green    60
7      30    Green    90
8      10    Green    30
9      40    Green   120
10     50    Green   150