如何使用 sample() 函数（pyspark）执行上采样

Question

我正在研究二元分类机器学习问题，我正在尝试平衡训练集，因为我有一个不平衡的目标类变量。我正在使用 Py-Spark 构建模型。

下面是平衡数据的代码

train_initial, test = new_data.randomSplit([0.7, 0.3], seed = 2018)
train_initial.groupby('label').count().toPandas()
   label   count                                                                
0    0.0  712980
1    1.0    2926
train_new = train_initial.sampleBy('label', fractions={0: 2926./712980, 1: 1.0}).cache()

上面的代码执行了欠采样，但我认为这可能会导致信息丢失。但是，我不确定如何执行上采样。我还尝试使用如下示例函数：

train_up = train_initial.sample(True, 10.0, seed = 2018)

虽然它在我的数据集中增加了 1 的计数，但它也增加了 0 的计数并给出了以下结果。

   label    count                                                               
0    0.0  7128722
1    1.0    29024

有人可以帮我在 py-spark 中实现上采样吗？

非常感谢提前！

Answer 1

适用于任何试图在 pyspark 中对不平衡数据集进行随机过采样的人。以下代码将帮助您入门（在此 sn-p 中，0 是市长类，1 是要过采样的类）：

df_a = df.filter(df['label'] == 0)
df_b = df.filter(df['label'] == 1)

a_count = df_a.count()
b_count = df_b.count() 
ratio = a_count / b_count

df_b_overampled = df_b.sample(withReplacement=True, fraction=ratio, seed=1)
df = df_a.unionAll(df_b_oversampled)

Answer 2

我在这里救援可能已经很晚了。但这是我的建议：

第 1 步。仅用于 label = 1 的示例

train_1= train_initial.where(col('label')==1).sample(True, 10.0, seed = 2018)

第 2 步。将此数据与 label = 0 数据合并

train_0=train_initial.where(col('label')==0)
train_final = train_0.union(train_1)

PS：请用

导入col

from pyspark.sql.functions import col

Answer 3

问题是您对整个数据框进行了过采样。您应该过滤来自这两个类的数据

df_class_0 = df_train[df_train['label'] == 0]
df_class_1 = df_train[df_train['label'] == 1]
df_class_1_over = df_class_1.sample(count_class_0, replace=True)
df_test_over = pd.concat([df_class_0, df_class_1_over], axis=0)

示例来自：https://www.kaggle.com/rafjaa/resampling-strategies-for-imbalanced-datasets

请注意，有更好的方法来执行过采样（例如 SMOTE）