按列中的值对数据框进行采样并保留所有行

Question

我想使用特定列中的值对 Pandas 数据框进行采样，但我想保留所有行的值都在样本中。

例如，在下面的数据框中，我想随机抽取b 中的部分值，但保留a 和c 中的所有 对应行。

d = pd.DataFrame({'a': range(1, 101, 1),'b': list(range(0, 100, 4))*4, 'c' :list(range(0, 100, 2))*2} )

来自 16% 样本的所需示例输出：

Out[66]: 
     a   b   c
0    1   0   0
1   26   0  50
2   51   0   0
3   76   0  50
4    4  12   6
5   29  12  56
6   54  12   6
7   79  12  56
8   18  68  34
9   43  68  84
10  68  68  34
11  93  68  84
12  19  72  36
13  44  72  86
14  69  72  36
15  94  72  86

我已尝试对系列进行采样并合并回主要数据，如下所示：

In [66]: pd.merge(d, d.b.sample(int(.16 * d.b.nunique())))

这会创建所需的输出，但似乎效率低下。我的真实数据集在b 中有数百万个值和数亿行。我知道我也可以使用一些版本的 ``isin```，但那也很慢。

有没有更有效的方法来做到这一点？

Answer 1

我真的怀疑isin 很慢：

uniques = df.b.unique()

# this maybe the bottle neck
samples = np.random.choice(uniques, replace=False, size=int(0.16*len(uniques)) )

# sampling here
df[df.b.isin(samples)]

您可以分析上述步骤。如果samples=...速度慢，可以试试：

idx = np.random.rand(len(uniques))
samples = uniques[idx<0.16]

这些在我的系统上花费了大约 100 毫秒的 1000 万行。

注意：d.b.sample(int(.16 * d.b.nunique())) 不会对 b 中的唯一值进行抽样 0.16。