在大型数据集上有效地替换 numpy 中二维数组的许多子数组

Question

有没有办法加快速度？在非常大的数据集上花费太长时间...... “矩阵”是一个没有固定长度的 numpy 数组列表（有些可能是 1-5 个元素更长或更短）

    def replaceScaleBelowZero(arr):  
        if np.amax(arr)<=0:
            arr[arr<=0] = minmax_scale(arr[arr<=0],(min_thresh*0.75,min_thresh)) 
        elif np.min(arr)<=0:
            arr[arr<=0] = minmax_scale(arr[arr<=0],(min_thresh*0.75,min_thresh)) 
        return arr 
    def replaceScaleBelowMinThresh(arr):  
       if np.amax(arr)<min_thresh:
           arr[arr<sl_thresh] = minmax_scale(arr[arr<min_thresh],(min_thresh*0.75,min_thresh)) 
       elif np.min(arr)<min_thresh:  
           arr[arr<min_thresh] = minmax_scale(arr[arr<min_thresh],(min_thresh*0.75,min_thresh)) 
       return arr 

    matrice = [replaceScaleBelowZero(slice_  ) for slice_ in matrice ] 
    matrice = [replaceScaleBelowMinThresh(slice_ ) for slice_ in matrice ]

Answer 1

sklearn.preprocessing.minmax_scale 使用大量检查。如果你重写你的

arr[arr<=0] = minmax_scale(arr[arr<=0],(min_thresh*0.75,min_thresh))

作为

a = arr[arra<=0]
a -= a.min()
a /= a.max()
a *= (0.25 * min_thresh)
a += 0.75 * min_thresh

（假设 arr 是 1d）它应该更快。如果它有效，我认为它可以通过重写这个 -=、/=、*=、+= 来进一步优化，只需两个这样的操作。

在你使用的第二个函数中

arr[arr<sl_thresh] = minmax_scale(arr[arr<min_thresh] ...

如果sl_thresh != min_thresh 这可能会出错。如果sl_thresh = min_thresh 我猜你可以放弃if-else 子句，因为你的ValueError 可能是由sklearn 提出的。