更好的方法来统一打乱两个 numpy 数组答案

【问题标题】：Better way to shuffle two numpy arrays in unison更好的方法来统一打乱两个 numpy 数组
【发布时间】：2011-06-03 20:03:30
【问题描述】：

我有两个不同形状的 numpy 数组，但长度相同（前导维度）。我想对它们中的每一个进行洗牌，以使相应的元素继续对应——即根据它们的前导索引统一洗牌。

此代码有效，并说明了我的目标：

def shuffle_in_unison(a, b):
    assert len(a) == len(b)
    shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
    shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
    permutation = numpy.random.permutation(len(a))
    for old_index, new_index in enumerate(permutation):
        shuffled_a[new_index] = a[old_index]
        shuffled_b[new_index] = b[old_index]
    return shuffled_a, shuffled_b

例如：

>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
       [1, 1],
       [3, 3]]), array([2, 1, 3]))

但是，这感觉笨重、低效且缓慢，并且需要制作数组的副本——我宁愿将它们就地洗牌，因为它们会非常大。

有没有更好的方法来解决这个问题？更快的执行和更低的内存使用是我的主要目标，但优雅的代码也会很好。

我的另一个想法是：

def shuffle_in_unison_scary(a, b):
    rng_state = numpy.random.get_state()
    numpy.random.shuffle(a)
    numpy.random.set_state(rng_state)
    numpy.random.shuffle(b)

这行得通...但有点吓人，因为我看不到它会继续工作的保证 - 例如，它看起来不像是保证在 numpy 版本中存活的那种东西。

【问题讨论】：

六年后，我对这个问题的受欢迎程度感到好笑和惊讶。巧合的是，Go 1.10 I contributed math/rand.Shuffle to the standard library。 API 的设计使得同时打乱两个数组变得微不足道，并且这样做甚至作为示例包含在文档中。
这是一种不同的编程语言。

标签： python numpy random shuffle numpy-ndarray

【解决方案1】：

你可以使用 NumPy 的array indexing:

def unison_shuffled_copies(a, b):
    assert len(a) == len(b)
    p = numpy.random.permutation(len(a))
    return a[p], b[p]

这将导致创建单独的 unison-shuffled 数组。

【讨论】：

这确实创建副本，因为它使用高级索引。但当然比原来的要快。
@mtrw：原始数组未被触及这一事实并不排除返回的数组是相同数据的视图。但它们确实不是，因为 NumPy 视图不够灵活，无法支持置换视图（这也是不可取的）。
@Sven - 我真的必须了解视图。 @Dat Chu - 我刚试过>>> t = timeit.Timer(stmt = "<function>(a,b)", setup = "import numpy as np; a,b = np.arange(4), np.arange(4*20).reshape((4,20))")>>> t.timeit()，OP 的版本有 38 秒，我的版本有 27.5 秒，每个调用 100 万次。
我真的很喜欢它的简单性和可读性，高级索引继续让我感到惊讶和惊奇；因为这个答案很容易得到+1。不过，奇怪的是，在我的（大型）数据集上，它比我的原始函数慢：我的原始函数需要 ~1.8s 进行 10 次迭代，而这需要 ~2.7s。这两个数字相当一致。我用来测试的数据集有a.shape 是(31925, 405) 和b.shape 是(31925,)。
也许，缓慢与您没有在原地做事，而是在创建新数组这一事实有关。或者与 CPython 解析数组索引的方式有关。

【解决方案2】：

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)

要了解更多信息，请参阅http://scikit-learn.org/stable/modules/generated/sklearn.utils.shuffle.html

【讨论】：

此解决方案创建copies（“原始数组不受影响”），而作者的“可怕”解决方案不会。
你可以选择任何你喜欢的风格

【解决方案3】：

您的“可怕”解决方案对我来说并不可怕。对两个相同长度的序列调用shuffle() 会导致对随机数生成器的调用次数相同，并且这些是随机播放算法中唯一的“随机”元素。通过重置状态，您可以确保对随机数生成器的调用将在第二次调用shuffle() 时给出相同的结果，因此整个算法将生成相同的排列。

如果您不喜欢这样，另一种解决方案是将数据存储在一个数组中，而不是从一开始就存储在两个数组中，然后在这个数组中创建两个视图，模拟您现在拥有的两个数组。您可以将单个数组用于洗牌，并将视图用于所有其他目的。

示例：假设数组 a 和 b 如下所示：

a = numpy.array([[[  0.,   1.,   2.],
                  [  3.,   4.,   5.]],

                 [[  6.,   7.,   8.],
                  [  9.,  10.,  11.]],

                 [[ 12.,  13.,  14.],
                  [ 15.,  16.,  17.]]])

b = numpy.array([[ 0.,  1.],
                 [ 2.,  3.],
                 [ 4.,  5.]])

我们现在可以构造一个包含所有数据的数组：

c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[  0.,   1.,   2.,   3.,   4.,   5.,   0.,   1.],
#        [  6.,   7.,   8.,   9.,  10.,  11.,   2.,   3.],
#        [ 12.,  13.,  14.,  15.,  16.,  17.,   4.,   5.]])

现在我们创建模拟原始a 和b 的视图：

a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)

a2 和b2 的数据与c 共享。要同时洗牌两个数组，请使用numpy.random.shuffle(c)。

在生产代码中，您当然会尽量避免创建原始的a 和b，而立即创建c、a2 和b2。

此解决方案可以适应a 和b 具有不同dtype 的情况。

【讨论】：

Re：可怕的解决方案：我只是担心不同形状的数组可能（可以想象）产生不同数量的 rng 调用，这会导致分歧。但是，我认为您是对的，当前的行为可能不太可能改变，一个非常简单的 doctest 确实可以很容易地确认正确的行为......
我喜欢您建议的方法，并且绝对可以安排 a 和 b 作为统一的 c 数组开始生活。但是，a 和 b 在洗牌后不久需要是连续的（为了有效地转移到 GPU），所以我认为，在我的特殊情况下，我最终还是会复制 a 和 b 。 :(
@Josh：请注意，numpy.random.shuffle() 对任意可变序列进行操作，例如 Python 列表或 NumPy 数组。数组的形状无关紧要，只有序列的长度。在我看来，这非常不太可能改变。
我不知道。这让我觉得舒服多了。谢谢。
@SvenMarnach ：我在下面发布了一个答案。你能评论一下你认为这是否有意义/是一个好方法吗？

【解决方案4】：

非常简单的解决方案：

randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]

两个数组 x,y 现在都以相同的方式随机打乱

【讨论】：

这相当于mtrw的方案。您的前两行只是生成一个排列，但这可以在一行中完成。

【解决方案5】：

James 在 2015 年写了一篇 sklearn solution，这很有帮助。但是他添加了一个随机状态变量，这不是必需的。在下面的代码中，自动假设来自 numpy 的随机状态。

X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)

【讨论】：

迄今为止最干净和最简单的答案 :thumbs-up:

【解决方案6】：

from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array

# Data is currently unshuffled; we should shuffle 
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]

【讨论】：

这似乎是解决这个问题最简单有效的方法了。

【解决方案7】：

仅使用 NumPy 将任意数量的数组原地混洗在一起。

import numpy as np


def shuffle_arrays(arrays, set_seed=-1):
    """Shuffles arrays in-place, in the same order, along axis=0

    Parameters:
    -----------
    arrays : List of NumPy arrays.
    set_seed : Seed value if int >= 0, else seed is random.
    """
    assert all(len(arr) == len(arrays[0]) for arr in arrays)
    seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed

    for arr in arrays:
        rstate = np.random.RandomState(seed)
        rstate.shuffle(arr)

而且可以这样使用

a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])

shuffle_arrays([a, b, c])

需要注意的几点：

断言确保所有输入数组的长度相同他们的第一个维度。
数组按第一个维度就地打乱 - 没有返回任何内容。
正 int32 范围内的随机种子。
如果需要可重复的随机播放，可以设置种子值。

在 shuffle 之后，可以使用 np.split 拆分数据或使用切片引用数据 - 取决于应用程序。

【讨论】：

漂亮的解决方案，这对我来说非常完美。即使是 3+ 轴的数组
这是正确答案。当您可以传递随机状态对象时，没有理由使用全局 np.random。
一个RandomState 可以在循环外使用。请参阅 Adam Snaider 的 answer
@bartolo-otrit，在for 循环中必须做出的选择是重新分配还是重新设定随机状态。由于传递给混洗函数的数组数量预计会很小，因此我不希望两者之间存在性能差异。但是，是的，rstate 可以在循环外分配，并在每次迭代时在循环内重新播种。

【解决方案8】：

你可以像这样创建一个数组：

s = np.arange(0, len(a), 1)

然后随机播放：

np.random.shuffle(s)

现在使用 this 作为你的数组的参数。相同的洗牌参数返回相同的洗牌向量。

x_data = x_data[s]
x_label = x_label[s]

【讨论】：

真的，这是最好的解决方案，应该被接受！它甚至可以同时适用于许多（超过 2 个）数组。这个想法很简单：只需打乱索引列表 [0, 1, 2, ..., n-1] ，然后用打乱的索引重新索引数组的行。不错！

【解决方案9】：

有一个众所周知的函数可以处理这个问题：

from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)

只需将 test_size 设置为 0 即可避免拆分并为您提供打乱的数据。虽然它通常用于拆分训练和测试数据，但它也确实会打乱它们。
来自documentation

将数组或矩阵拆分为随机训练和测试子集

包装输入验证和 next(ShuffleSplit().split(X, y)) 和应用程序将数据输入到一次调用拆分（和可选的子采样）数据单线。

【讨论】：

我不敢相信我从来没有想过这个。你的回答太棒了。
sklearn 有什么变化吗？此解决方案对我不起作用并引发 ValueError。
我没有看到这个函数有任何变化。检查您是否传递了正确的数据类型（任何类似数组的类型都可以）并检查数组是否具有相同的形状。

【解决方案10】：

可以对连接列表进行就地改组的一种方法是使用种子（它可以是随机的）并使用 numpy.random.shuffle 进行改组。

# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
   np.random.seed(seed)
   np.random.shuffle(a)
   np.random.seed(seed)
   np.random.shuffle(b)

就是这样。这将以完全相同的方式洗牌 a 和 b。这也是就地完成的，这总是一个优点。

编辑，不要使用 np.random.seed() 而是使用 np.random.RandomState

def shuffle(a, b, seed):
   rand_state = np.random.RandomState(seed)
   rand_state.shuffle(a)
   rand_state.seed(seed)
   rand_state.shuffle(b)

调用它时只需传入任何种子来提供随机状态：

a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)

输出：

>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]

编辑：修复代码以重新播种随机状态

【讨论】：

此代码不起作用。 RandomState 在第一次调用时更改状态，a 和 b 不会同时洗牌。
@BrunoKlein 你是对的。我修复了帖子以重新播种随机状态。此外，即使在两个列表同时被洗牌的意义上它不是一致的，但它们在两者都以相同的方式洗牌的意义上是一致的，并且它也不需要更多的内存来保存一个列表的副本（OP 在他的问题中提到）

【解决方案11】：

这似乎是一个非常简单的解决方案：

import numpy as np
def shuffle_in_unison(a,b):

    assert len(a)==len(b)
    c = np.arange(len(a))
    np.random.shuffle(c)

    return a[c],b[c]

a =  np.asarray([[1, 1], [2, 2], [3, 3]])
b =  np.asarray([11, 22, 33])

shuffle_in_unison(a,b)
Out[94]: 
(array([[3, 3],
        [2, 2],
        [1, 1]]),
 array([33, 22, 11]))

【讨论】：

【解决方案12】：

假设我们有两个数组：a 和 b。

a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]])

我们可以先通过排列第一个维度来获得行索引

indices = np.random.permutation(a.shape[0])
[1 2 0]

然后使用高级索引。在这里，我们使用相同的索引来统一打乱两个数组。

a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]

这相当于

np.take(a, indices, axis=0)
[[4 5 6]
 [7 8 9]
 [1 2 3]]

np.take(b, indices, axis=0)
[[6 6 6]
 [4 2 0]
 [9 1 1]]

【讨论】：

为什么不只是 a[indices,:] 或 b[indices,:]？

【解决方案13】：

如果您想避免复制数组，那么我建议您不要生成排列列表，而是遍历数组中的每个元素，并将其随机交换到数组中的另一个位置

for old_index in len(a):
    new_index = numpy.random.randint(old_index+1)
    a[old_index], a[new_index] = a[new_index], a[old_index]
    b[old_index], b[new_index] = b[new_index], b[old_index]

这实现了 Knuth-Fisher-Yates 洗牌算法。

【讨论】：

codinghorror.com/blog/2007/12/the-danger-of-naivete.html 让我对实现自己的随机播放算法持谨慎态度；它部分负责我提出这个问题。 :) 但是，您非常正确地指出我应该考虑使用 Knuth-Fisher-Yates 算法。
很好，我现在已经修复了代码。无论如何，我认为就地改组的基本思想可以扩展到任意数量的数组，避免复制。
代码仍然不正确（它甚至不会运行）。要使其正常工作，请将len(a) 替换为reversed(range(1, len(a)))。但无论如何它不会很有效。

【解决方案14】：

举个例子，这就是我正在做的事情：

combo = []
for i in range(60000):
    combo.append((images[i], labels[i]))

shuffle(combo)

im = []
lab = []
for c in combo:
    im.append(c[0])
    lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)

【讨论】：

这或多或少相当于combo = zip(images, labels); shuffle(combo); im, lab = zip(*combo)，只是更慢。由于您无论如何都在使用 Numpy，一个更快的解决方案是使用 Numpy combo = np.c_[images, labels] 压缩数组，随机播放并再次解压缩 images, labels = combo.T。假设 labels 和 images 一开始是长度相同的一维 Numpy 数组，这很容易成为最快的解决方案。如果它们是多维的，请参阅我上面的答案。
好吧，这是有道理的。谢谢！ @SvenMarnach

【解决方案15】：

我扩展了 python 的 random.shuffle() 以获取第二个参数：

def shuffle_together(x, y):
    assert len(x) == len(y)

    for i in reversed(xrange(1, len(x))):
        # pick an element in x[:i+1] with which to exchange x[i]
        j = int(random.random() * (i+1))
        x[i], x[j] = x[j], x[i]
        y[i], y[j] = y[j], y[i]

这样我可以确定改组发生在原地，并且函数不会太长或太复杂。

【讨论】：

【解决方案16】：

只需使用numpy...

首先合并两个输入数组，一维数组是标签（y），二维数组是数据（x），并使用 NumPy shuffle 方法对它们进行混洗。最后将它们拆分并返回。

import numpy as np

def shuffle_2d(a, b):
    rows= a.shape[0]
    if b.shape != (rows,1):
        b = b.reshape((rows,1))
    S = np.hstack((b,a))
    np.random.shuffle(S)
    b, a  = S[:,0], S[:,1:]
    return a,b

features, samples = 2, 5
x, y = np.random.random((samples, features)), np.arange(samples)
x, y = shuffle_2d(train, test)

【讨论】：

【解决方案17】：

在我看来，最短和最简单的方法是使用 seed：

random.seed(seed)
random.shuffle(x_data)
# reset the same seed to get the identical random sequence and shuffle the y
random.seed(seed)
random.shuffle(y_data)

【讨论】：