查找 3D-array 满足 MULTIPLE 条件的索引位置

Question

我有一个 3D 数组，由每个波段内的多个数字组成。有没有返回数组满足MULTIPLE条件的索引位置的函数？

我尝试了以下方法：

index_pos = numpy.where(
    array[:,:,0]==10 and array[:,:,1]==15 and array[:,:,2]==30)

返回错误：

ValueError: The truth value of an array with more than one element is ambiguous.
Use a.any() or a.all()

Answer 1

您实际上有一种特殊情况，执行以下操作会更简单、更有效：

创建数据：

>>> arr
array([[[ 6,  9,  4],
        [ 5,  2,  1],
        [10, 15, 30]],

       [[ 9,  0,  1],
        [ 4,  6,  4],
        [ 8,  3,  9]],

       [[ 6,  7,  4],
        [ 0,  1,  6],
        [ 4,  0,  1]]])

期望值：

>>> index_pos = np.where((arr[:,:,0]==10) & (arr[:,:,1]==15) & (arr[:,:,2]==30))
>>> index_pos
(array([0]), array([2]))

同时使用广播：

>>> arr == np.array([10,15,30])
array([[[False, False, False],
        [False, False, False],
        [ True,  True,  True]],

       [[False, False, False],
        [False, False, False],
        [False, False, False]],

       [[False, False, False],
        [False, False, False],
        [False, False, False]]], dtype=bool)

>>> np.where( np.all(arr == np.array([10,15,30]), axis=-1) )
(array([0]), array([2]))

如果您想要的索引不连续，您可以执行以下操作：

ind_vals = np.array([0,2])
where_mask = (arr[:,:,ind_vals] == values)

尽可能广播。

受到@Jamie 评论的启发，需要考虑一些有趣的事情：

arr = np.random.randint(0,100,(5000,5000,3))

%timeit np.all(arr == np.array([10,15,30]), axis=-1)
1 loops, best of 3: 614 ms per loop

%timeit ((arr[:,:,0]==10) & (arr[:,:,1]==15) & (arr[:,:,2]==30))
1 loops, best of 3: 217 ms per loop

%timeit tmp = (arr == np.array([10,15,30])); (tmp[:,:,0] & tmp[:,:,1] & tmp[:,:,2])
1 loops, best of 3: 368 ms per loop

问题变成了，为什么会这样？：

首先检查：

%timeit (arr[:,:,0]==10)
10 loops, best of 3: 51.2 ms per loop

%timeit (arr == np.array([10,15,30]))
1 loops, best of 3: 300 ms per loop

人们会期望arr == np.array([10,15,30]) 在最坏的情况下是arr[:,:,0]==10 的速度的1/3。任何人都知道为什么不是这种情况？

那么在组合最终轴时，有很多方法可以实现这一点。

tmp = (arr == np.array([10,15,30]))

method1 = np.all(tmp,axis=-1)
method2 = (tmp[:,:,0] & tmp[:,:,1] & tmp[:,:,2])
method3 = np.einsum('ij,ij,ij->ij',tmp[:,:,0] , tmp[:,:,1] , tmp[:,:,2])

np.allclose(method1,method2)
True
np.allclose(method1,method3)
True

%timeit np.all(tmp,axis=-1)
1 loops, best of 3: 318 ms per loop

%timeit (tmp[:,:,0] & tmp[:,:,1] & tmp[:,:,2])
10 loops, best of 3: 68.2 ms per loop

%timeit np.einsum('ij,ij,ij->ij',tmp[:,:,0] , tmp[:,:,1] , tmp[:,:,2])
10 loops, best of 3: 38 ms per loop

einsum 加速是明确定义的elsewhere，但我觉得all 和连续& 之间存在如此大的差异似乎很奇怪。

Answer 2

and 运算符在这种情况下不起作用。

index_pos = numpy.where(array[:,:,0]==10 and array[:,:,1]==15 and array[:,:,2]==30)

试试这个：

index_pos = numpy.where((array[:,:,0]==10) & (array[:,:,1]==15) & (array[:,:,2]==30))

Answer 3

问题在于使用了原生 Python and 关键字，它在数组上的行为方式与您不希望的那样。

请尝试使用numpy.logical_and 函数。

cond1 = np.logical_and(array[:,:,0]==10, array[:,:,1]==15)
cond2 = np.logical_and(cond1, array[:,:,2]==30)
index_pos = numpy.where(cond2)

您甚至可以创建自己的logical_and 版本，接受任意数量的条件：

def my_logical_and(*args):
    return reduce(np.logical_and, args)

condition_locs_and_vals = [(0, 10), (1, 15), (2, 30)]
conditions = [array[:,:,x] == y for x,y in conditition_locs_and_vals]
my_logical_and(*conditions)

使用按位与 (&) 有效，但这只是巧合。按位与用于比较位或bool 类型。使用它来比较数值数组的真值并不可靠（例如，如果您突然需要对条目计算为 True 的位置进行索引，而不是实际首先转换为 bool 数组）。确实应该使用logical_and 而不是&（即使它会带来速度损失）。

此外，将任意条件列表与& 链接在一起可能会让人难以阅读和输入。并且为了代码的可重用性，以便以后的程序员不必将一堆从属子句更改为 & 运算符，最好将各个条件单独存储，然后使用类似的函数将它们组合起来。