检查两个numpy数组是否相同

Question

假设我有一堆数组，包括x 和y，我想检查它们是否相等。一般来说，我可以只使用np.all(x == y)（除非我现在忽略了一些愚蠢的角落案例）。

不过，这会评估(x == y) 的整个 数组，这通常是不需要的。我的数组真的很大，而且我有很多，而且两个数组相等的概率很小，所以很可能，我真的只需要在all函数之前评估(x == y)的一小部分可能返回 False，所以这对我来说不是最佳解决方案。

我尝试使用内置的all 函数，结合itertools.izip：all(val1==val2 for val1,val2 in itertools.izip(x, y))

但是，在两个数组相等的情况下，这似乎要慢得多，总的来说，它仍然不值得在np.all 上使用。我推测是因为内置 all 的通用性。而np.all 不适用于生成器。

有没有办法以更快的方式做我想做的事？

我知道这个问题类似于之前提出的问题（例如 Comparing two numpy arrays for equality, element-wise），但它们具体不包括提前终止的情况。

Answer 1

在 numpy 原生实现之前，您可以编写自己的函数并使用 numba 对其进行 jit 编译：

import numpy as np
import numba as nb


@nb.jit(nopython=True)
def arrays_equal(a, b):
    if a.shape != b.shape:
        return False
    for ai, bi in zip(a.flat, b.flat):
        if ai != bi:
            return False
    return True


a = np.random.rand(10, 20, 30)
b = np.random.rand(10, 20, 30)


%timeit np.all(a==b)  # 100000 loops, best of 3: 9.82 µs per loop
%timeit arrays_equal(a, a)  # 100000 loops, best of 3: 9.89 µs per loop
%timeit arrays_equal(a, b)  # 100000 loops, best of 3: 691 ns per loop

最坏情况下的性能（数组相等）相当于np.all，并且在提前停止编译函数的情况下有可能大大优于np.all。

Answer 2

numpy page on github 显然正在讨论向数组比较添加短路逻辑，因此可能会在未来版本的 numpy 中提供。

Answer 3

嗯，我知道这是一个糟糕的答案，但似乎没有简单的方法。 Numpy Creators 应该修复它。我建议：

def compare(a, b):
    if len(a) > 0 and not np.array_equal(a[0], b[0]):
        return False
    if len(a) > 15 and not np.array_equal(a[:15], b[:15]):
        return False
    if len(a) > 200 and not np.array_equal(a[:200], b[:200]):
        return False
    return np.array_equal(a, b)

:)

Answer 4

嗯，这不是一个真正的答案，因为我没有检查它是否断路，但是：

assert_array_equal.

来自文档：

如果两个 array_like 对象不相等，则引发 AssertionError。

TryExcept 如果不在性能敏感的代码路径上。

或者按照底层源码，或许效率更高。

Answer 5

您可以迭代数组的所有元素并检查它们是否相等。 如果数组很可能不相等，它的返回速度将比 .all 函数快得多。 像这样的：

import numpy as np

a = np.array([1, 2, 3])
b = np.array([1, 3, 4])

areEqual = True

for x in range(0, a.size-1):
        if a[x] != b[x]:
                areEqual = False
                break
        else:
               print "a[x] is equal to b[x]\n"

if areEqual:
        print "The tables are equal\n"
else:
        print "The tables are not equal\n"

Answer 6

可能了解底层数据结构的人可以对此进行优化或解释它是否可靠/安全/良好的做法，但它似乎有效。

np.all(a==b)
Out[]: True

memoryview(a.data)==memoryview(b.data)
Out[]: True

%timeit np.all(a==b)
The slowest run took 10.82 times longer than the fastest. This could mean that an intermediate result is being cached.
100000 loops, best of 3: 6.2 µs per loop

%timeit memoryview(a.data)==memoryview(b.data)
The slowest run took 8.55 times longer than the fastest. This could mean that an intermediate result is being cached.
100000 loops, best of 3: 1.85 µs per loop

如果我理解正确，ndarray.data 创建一个指向数据缓冲区的指针，memoryview 创建一个可以从缓冲区短路的本机 python 类型。

我认为。

编辑：进一步的测试表明它可能没有如图所示的时间改进那么大。以前a=b=np.eye(5)

a=np.random.randint(0,10,(100,100))

b=a.copy()

%timeit np.all(a==b)
The slowest run took 6.70 times longer than the fastest. This could mean that an intermediate result is being cached.
10000 loops, best of 3: 17.7 µs per loop

%timeit memoryview(a.data)==memoryview(b.data)
10000 loops, best of 3: 30.1 µs per loop

np.all(a==b)
Out[]: True

memoryview(a.data)==memoryview(b.data)
Out[]: True

Answer 7

正如 Thomas Kühn 在对您的帖子的评论中所写，array_equal 是一个可以解决问题的函数。在Numpy's API reference 中有描述。