使用 numpy 进行下采样

Question

我有一个表示分类数据的一维数组 A（其中每个条目是某个类别的元素数）：

A = array([ 1, 8, 2, 5, 10, 32, 0, 0, 1, 0])

我正在尝试编写一个函数 sample(A, N) 来生成一个数组 B ，其中包含通过从 A 中随机抽取元素生成的 N 个元素（保持类别）：

>>> sample(A, 20)
array([ 1, 3, 0, 1, 4, 11, 0, 0, 0, 0])

这是我写的：

def sample(A, N):
    AA = A.astype(float).copy()
    Z = zeros(A.shape)
    for _ in xrange(N):
        drawn = random.multinomial(1, AA/AA.sum())
        Z = Z + drawn
        AA = AA - drawn
    return Z.astype(int)

可能这很天真，有更好/更快的方法吗？也许使用一些快速的 numpy 函数？ 编辑：不清楚：它必须没有替换！！！

Answer 1

据我所知，比其他人更快。但可能会占用更多内存。

import random 
from collections import Counter

def sample2(A,N):
    distribution = [i for i, j in enumerate(A) for _ in xrange(j)]
    sample = Counter(random.sample(distribution, N))
    return [sample[i] for i in xrange(len(A))]


In [52]: A = np.random.randint(0, 100, 500)

In [53]: %timeit sample(A, 100) #Original
100 loops, best of 3: 2.71 ms per loop

In [54]: %timeit sample2(A, 100) #my function
1000 loops, best of 3: 914 µs per loop

In [55]: %timeit sample3(A, 100) #sftd function
100 loops, best of 3: 8.33 ms per loop

Answer 2

这可能不是最优雅的解决方案，但它的速度大约是原来的 3 倍。它使用numpy.random.choice，它有一个布尔替换选项（在这种情况下设置为False - 即没有替换）。剩下的代码是：

• 设置选择数组，其中包含索引n 的A[n] 计数，例如对于A=[2,0,3,1]，你会得到choices=[0,0,2,2,2,3]。请注意，这些中的每一个都具有相同的概率，因此无需创建概率数组。
• 将 numpy 函数调用选择的值转换为所需的输出数组。 vals 数组的每个元素都是从 choices 数组中选择的索引，因此您需要为每个选择的索引在 B 的相应元素中添加 1。

我希望这是有道理的！代码如下：

def sample_2(A, N):
    # Create array of choices (indicies)
    choices = []
    for n in xrange(len(A)):
        for _ in xrange(A[n]):
            choices.append(n)
    # Randomly choose from these indicies
    vals = numpy.random.choice(choices, N, False)
    # Count up the chosen indicies
    B = numpy.zeros(len(A), dtype=int)
    for index in xrange(N):
        B[vals[index]] += 1
    return B

每个函数调用10000次的速度测试结果：

Original: 3.0517 s
Method_2: 0.9968 s

Answer 3

我会这样做：

def sample(A, N):
        population = np.zeros(sum(A))
        counter = 0
        for i, x in enumerate(A):
                for j in range(x):
                        population[counter] = i
                        counter += 1

        sampling = population[np.random.randint(0, len(population), N)]
        return np.histogram(sampling, bins = np.arange(len(A)+1))[0]

我们正在做的是建立一个由直方图 A 定义的总体，然后从中随机抽样。如果实际情况 N 大且 sum(A) 小，和/或您需要对 A 多次采样以获得固定 A，这应该会更好。您要做的是在函数调用之外构建与 A 相对应的人口，并将 sample(population, N) 定义为上面的最后两行。