基于依赖数据的抽样

Question

我的数据框包含 6 列的 10M 条记录。类（is_active）非常不平衡（1-96%,0-4%）。

数据框看起来像 -

id      age    gender    salary   bonus  is_active
1        27     M         76543    762     0
2        36     F         87352    1050    1
3        29     M         76598    7364    1
4        61     M         74632    3475    0

我想要一个数据框，其中我的因变量 (is_active) 比率应为 1-75%,0-25%。

在python中怎么做？

Answer 1

一种方法是尝试这个，

df_1 = df[df['is_active']==1]
df_2 = df[df['is_active']==0]
df_1= df_1.sample(n = len(df_2)*3)
df=pd.concat([df_1, df_2], ignore_index=True)

1. 根据 is_active 将数据框分成两部分。
2. 取负样本中的所有行。
3. 根据 df_1 的长度对 df_2 进行采样
4. 连接两个数据帧。

最后一次测试：

print (df['is_active'].value_counts(normalize=True))