Numpy 矢量化签名

Question

问题陈述

我必须有两个数组（X 和 Y），维度分别为 (n,d) 和 (m,d)，并且想对两个矩阵之间的每一行组合应用一个函数。我要应用的功能如下：

def norm(x, y):
    return np.linalg.norm(x-y)

其中x 和y 是不同矩阵的对应行向量。 我正在寻找的输出是一个形状为(n,m) 的矩阵，其中每个索引是X 和Y 中相应行向量之间差异的范数。

预期的解决方案：

因此，如果输入矩阵是：

X = [[1,1,1,1],
    [2,2,2,2]]

Y = [[3,3,3,3],
    [4,4,4,4]]

我想得到以下输出：

[[4,6],
[2,4]]

当前解决方案

在这个阶段，我唯一的解决方案是使用np.vectorize 函数对我的函数进行矢量化并将不同的行映射到函数并获得矩阵输出。但是，在函数上应用以下矢量化时：

norm_vec = np.vectorize(norm, signature='(d),(d)->()')

我得到以下输出：

[[4,4]]

该函数似乎只是将函数映射到每个行对而不是每个行组合。 我对vectorize 函数还很陌生，我不确定signature 参数是如何工作的，但我的直觉告诉我，这个具有正确签名的函数可以通过某种方式为我提供正确的解决方案。

是否有人可以让我进一步了解np.vectorize 函数的工作原理并构建正确的signature 以获得我想要的解决方案，或者如果我完全正确的话，可以为我指明正确的方向脱轨。我想避免使用 for 循环，因为我打算将此函数应用于一些大型矩阵

Answer 1

您可以使用signature；它只需要使用broadcasting:

In [374]: def norm(x, y): 
     ...:     return np.linalg.norm(x-y) 
     ...:                                                                                      

In [376]: f = np.vectorize(norm, signature='(d),(d)->()')                                      
In [377]:                                                                                      
In [377]: X = np.array([[1,1,1,1], 
     ...:     [2,2,2,2]]) 
     ...:  
     ...: Y = np.array([[3,3,3,3], 
     ...:     [4,4,4,4]])                                                                      
In [378]: f(X,Y)                                                                               
Out[378]: array([4., 4.])

In [379]: f(X[:,None,:], Y[None,:,:])                                                           
Out[379]: 
array([[4., 6.],
       [2., 4.]])

您的函数首先执行x-y；所以让我们专注于这一点：

In [383]: f = np.vectorize(lambda x,y:x-y, signature='(d),(d)->(d)')                           
In [384]: f(X[:,None,:], Y[None,:,:])                                                           
Out[384]: 
array([[[-2, -2, -2, -2],
        [-3, -3, -3, -3]],

       [[-1, -1, -1, -1],
        [-2, -2, -2, -2]]])

但我们不需要vectorize 来执行此操作：

In [385]: X[:,None,:]-Y[None,:,:]                                                              
Out[385]: 
array([[[-2, -2, -2, -2],
        [-3, -3, -3, -3]],

       [[-1, -1, -1, -1],
        [-2, -2, -2, -2]]])

norm 接受axis 参数；指定最后一个，与使用vectorize 进行逐行计算的结果相同：

In [387]: np.linalg.norm(X[:,None,:]-Y[None,:,:], axis=-1)                                     
Out[387]: 
array([[4., 6.],
       [2., 4.]])

这种适当“矢量化”方法的一个缺点是广播的差异可能会变得非常大，并导致内存错误。

所以np.vectorize 在函数无法使用更快编译的全数组方法时有些用处。但它不是一个速度工具。它比更明确的迭代要慢。 signature 的添加很有趣，但速度更慢。

scipy.spatial.distance.pdist 是进行成对距离的好工具。