复杂数据集的下采样问题

Question

我有一个不平衡的数据集，我想对其进行下采样。

这是数据集：

testframe = pd.DataFrame()
testframe['id_unique'] = [0,0,0,1,1,1,2,2,2,3,3,3]
testframe['t'] = [1,2,3,1,2,3,1,2,3,1,2,3]
testframe['value'] = [10,11,12,21,22,23,31,32,33,41,42,43]
testframe['class'] = [1,1,1,2,2,2,1,1,1,1,1,1]

其中id_unique代表唯一时间序列，t是值的顺序，value是测量值，class 是时间序列所属的类。

这是一个不平衡的数据集，我想将其下采样到以下：

final_frame = pd.DataFrame()
final_frame['id_uniqe'] = [0,0,0,1,1,1]
final_frame['t'] = [1,2,3,1,2,3]
final_frame['value'] = [10,11,12,21,22,23]
final_frame['class'] = [1,1,1,2,2,2]

我试过了：

from imblearn.under_sampling import RandomUnderSampler

rus = RandomUnderSampler(sampling_strategy = 'all')

X_rus, y_rus= rus.fit_resample(df.drop(['classes'], axis = 1), df['classes'])

但显然这只是从原始数据名（属于多数类）中选择了一些行并将它们删除。结果，我从每个班级的每个时间序列中获得了一些 sn-ps，但是完整时间序列中的信息丢失了。

我正在寻找一种以某种方式对数据集进行下采样的方法，以便从多数类中删除一个完整的时间序列 (id_unique)，并且我最终为每个类得到相同数量的完整时间序列。选择应该是随机的。

我尝试了一些 groupby 行，但它们都导致错误..

感谢您对此的任何提示！

Answer 1

这是一个可能的解决方案：

# ids 
majority_ids = testframe.loc[testframe['class']==1, 'id_unique'].unique()
minority_ids = testframe.loc[testframe['class']==2, 'id_unique'].unique()

# pick out a given number of id's in majority class
all_ids = majority_ids[:len(minority_ids)+1] + minority_ids

final_df = testframe[testframe.id_unique.isin(all_ids)]

输出：

    id_unique  t  value  class
3           1  1     21      2
4           1  2     22      2
5           1  3     23      2
9           3  1     41      1
10          3  2     42      1
11          3  3     43      1