在 Pandas DataFrame 中使用不平衡学习 [关闭]

Question

我的数据集非常不平衡。两个少数类别中的每一个都包含多数类别中样本的一半。我的 RNN 模型无法了解人口最少的类的任何信息。

我正在尝试使用 imbalanced-learn 库。例如：

sm = SMOTE(random_state=42, n_jobs=-1, k_neighbors=10)
X_train, y_train = sm.fit_resample(train.drop(['label], axis=1), train['label'])

如果train.drop(['label] 仅包含所用特征的值，则有效。问题是我的 DataFrame 包含一个包含字符串作为值的附加列：我不能删除它，因为这些字符串是我的 RNN 的输入。如果我放弃它，我将无法分辨这些字符串属于过采样数据集的哪一行。

有没有办法保留所有列并告诉函数使用哪些列进行过采样？

Answer 1

如果字符串列是 RNN 的输入，那么假设您计划以某种方式对其进行编码（例如一次性编码），那么只需在过采样之前对该列进行编码，然后使用新编码的列运行过采样字符串列。

Answer 2

对于那些需要做类似事情的人，该库的合著者建议我使用SMOTENC，它还可以处理分类变量（如字符串）。