scipy 中的成对 cdist 而不是 zip

Question

我想在向量列表和每个向量的centroids 列表之间获取cdist。

换句话说，我想做相当于[cdist(px, cent) ** 2 for px, cent in izip(pixelwise, centroids)]。

那么为什么不这样做呢？因为它是我程序中最慢的部分。我想看看是否有一种方法可以在 numpy/scipy 中进行本地操作，这比我在 python 中使用列表表达式 + zip 的方法更快。

示例代码：

pixelwise = allframes.transpose((1, 0, 2))
centroids = pixelwise.mean((0,)).reshape((pixelwise.shape[0], 1, 3))
variances += weight * numpy.sum(
   [cdist(px, cent, 'euclidean') ** 2 for px, cent in izip(pixelwise, centroids)])

pixelwise 的示例值：

array([[[1, 1, 2],
        [2, 3, 4],
        [2, 2, 2]],

       [[1, 2, 3],
        [2, 3, 4],
        [2, 2, 2]],

       [[1, 2, 3],
        [2, 1, 1],
        [2, 2, 2]],

       [[4, 3, 2],
        [2, 3, 2],
        [2, 2, 2]]])

以及给定像素级值的质心：

array([[[ 1.75,  2.  ,  2.5 ]],

       [[ 2.  ,  2.5 ,  2.75]],

       [[ 2.  ,  2.  ,  2.  ]]])

Answer 1

如果我正确理解您的意图，您正在尝试估计每个“组”向量与其他组的质心相距多远。如果是这种情况，您似乎缺少组中向量数量的归一化因子。不过，您可以通过简单地考虑

来很好地估计这个距离

scipy.spatial.distance.pdist(centroids, 'euclidean')

即质心到彼此的距离。这是一阶近似。如果您将此数据用于算法，它可能足够好，因为它可以找到最分离的向量集。

由于 cmets 表明您最初寻找的功能并未内置于 scipy 中，因此您必须独立进行每个求和。然而，这个问题是令人尴尬的并行，所以使用multiprocessing 可能会有所帮助。