【问题标题】:Efficiently replace elements in array based on dictionary - NumPy / Python基于字典有效地替换数组中的元素 - NumPy / Python
【发布时间】:2020-06-07 04:23:30
【问题描述】:

首先,如果这已在其他地方得到回答,我深表歉意。我能找到的只是关于替换给定值的元素的问题,而不是多个值的元素。

背景

我有几千个大型 np.array,如下所示:

# generate dummy data
input_array = np.zeros((100,100))
input_array[0:10,0:10] = 1
input_array[20:56, 21:43] = 5
input_array[34:43, 70:89] = 8

在这些数组中,我想根据字典替换值:

mapping = {1:2, 5:3, 8:6}

接近

这时候,我用的是一个简单的循环,结合花哨的索引:

output_array = np.zeros_like(input_array)

for key in mapping:
    output_array[input_array==key] = mapping[key]

问题

我的数组到 2000 年的维度为 2000,字典有大约 1000 个条目,因此,这些循环需要永远。

问题

是否有一个函数,可以简单地接受一个数组和一个字典(或类似)形式的映射,并输出更改后的值?

非常感谢您的帮助!

更新:

解决方案:

我在 Ipython 中测试了各个解决方案,使用

%%timeit -r 10 -n 10

输入数据

import numpy as np
np.random.seed(123)

sources = range(100)
outs = [a for a in range(100)]
np.random.shuffle(outs)
mapping = {sources[a]:outs[a] for a in(range(len(sources)))}

对于每个解决方案:

np.random.seed(123)
input_array = np.random.randint(0,100, (1000,1000))

迪瓦卡,方法 3:

%%timeit -r 10 -n 10
k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))

mapping_ar = np.zeros(k.max()+1,dtype=v.dtype) #k,v from approach #1
mapping_ar[k] = v
out = mapping_ar[input_array]

5.01 ms ± 641 µs per loop (mean ± std. dev. of 10 runs, 10 loops each)

迪瓦卡,方法二:

%%timeit -r 10 -n 10
k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))

sidx = k.argsort() #k,v from approach #1

k = k[sidx]
v = v[sidx]

idx = np.searchsorted(k,input_array.ravel()).reshape(input_array.shape)
idx[idx==len(k)] = 0
mask = k[idx] == input_array
out = np.where(mask, v[idx], 0)

56.9 ms ± 609 µs per loop (mean ± std. dev. of 10 runs, 10 loops each)

迪瓦卡,方法一:

%%timeit -r 10 -n 10

k = np.array(list(mapping.keys()))
v = np.array(list(mapping.values()))

out = np.zeros_like(input_array)
for key,val in zip(k,v):
    out[input_array==key] = val

113 ms ± 6.2 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)

埃尔科:

%%timeit -r 10 -n 10
output_array = npi.remap(input_array.flatten(), list(mapping.keys()), list(mapping.values())).reshape(input_array.shape)

143 ms ± 4.47 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)

亚图

%%timeit -r 10 -n 10

keys, choices = list(zip(*mapping.items()))
# [(1, 5, 8), (2, 3, 6)]
conds = np.array(keys)[:,None,None]  == input_array
np.select(conds, choices)

157 ms ± 5 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)

原始的、循环的方法:

%%timeit -r 10 -n 10
output_array = np.zeros_like(input_array)

for key in mapping:
    output_array[input_array==key] = mapping[key]

187 ms ± 6.44 ms per loop (mean ± std. dev. of 10 runs, 10 loops each)

感谢您的超级快速帮助!

【问题讨论】:

  • 我认为这是相同的question。最佳答案可能是one
  • 如下所述;第一次调用列表是一个错误;我认为没有它应该会快很多

标签: python performance numpy vectorization


【解决方案1】:

我认为 Divakar #3 方法假定映射字典涵盖目标数组中的所有值(或至少是最大值)。否则,为避免索引超出范围错误,您必须替换该行

mapping_ar = np.zeros(k.max()+1,dtype=v.dtype)

mapping_ar = np.zeros(array.max()+1,dtype=v.dtype)

这会增加相当大的开销。

【讨论】:

    【解决方案2】:

    numpy_indexed 库(免责声明:我是它的作者)提供了以高效矢量化方式实现此操作的功能:

    import numpy_indexed as npi
    output_array = npi.remap(input_array.flatten(), list(mapping.keys()), list(mapping.values())).reshape(input_array.shape)
    

    注意;我没有测试它;但它应该沿着这些方向工作。效率应该适用于大输入和映射中的许多项目;我想类似于 divakars 的方法 2;没有他的方法3那么快。但是这种解决方案更针对通用性;它也适用于非正整数的输入;甚至 nd-arrays (f.i. 用其他颜色替换图像中的颜色等)。

    【讨论】:

    • 谢谢!我不得不稍微调整你的 python 3 mapping.values() 代码到 list(mapping_values)
    • 哎呀;将列表放在输入而不是值周围。确实你需要后者;而不是前者;它会无缘无故地减慢速度。更新了我的答案
    • 对,我的错。用您的编辑更新了帖子。 240 毫秒的性能提升 :)
    • 有趣的是它仍然比divakar方法1慢;您是使用 1000 个条目的映射进行基准测试,还是像示例中的 3 条目映射这样更简单的问题?
    • 测试条件分别在标题解和输入数据下。为简单起见,我在 10 次运行中使用相同的 1000 x 1000 数组,每次运行 10 个循环
    【解决方案3】:

    鉴于您使用的是 numpy 数组,我建议您也使用 numpy 进行映射。这是使用np.select的矢量化方法:

    mapping = {1:2, 5:3, 8:6}
    keys, choices = list(zip(*mapping.items()))
    # [(1, 5, 8), (2, 3, 6)]
    # we can use broadcasting to obtain a 3x100x100
    # array to use as condlist
    conds = np.array(keys)[:,None,None]  == input_array
    # use conds as arrays of conditions and the values 
    # as choices
    np.select(conds, choices)
    
    array([[2, 2, 2, ..., 0, 0, 0],
           [2, 2, 2, ..., 0, 0, 0],
           [2, 2, 2, ..., 0, 0, 0],
           ...,
           [0, 0, 0, ..., 0, 0, 0],
           [0, 0, 0, ..., 0, 0, 0],
           [0, 0, 0, ..., 0, 0, 0]])
    

    【讨论】:

      【解决方案4】:

      方法 #1:循环使用数组数据

      一种方法是提取数组中的键和值,然后使用类似的循环 -

      k = np.array(list(mapping.keys()))
      v = np.array(list(mapping.values()))
      
      out = np.zeros_like(input_array)
      for key,val in zip(k,v):
          out[input_array==key] = val
      

      这个比原始的好处是数组数据的空间局部性,用于高效的数据获取,在迭代中使用。

      另外,既然你提到了thousand large np.arrays。因此,如果 mapping 字典保持不变,那么获取数组版本的步骤 - kv 将是一次性设置过程。

      方法 #2:使用searchsorted 进行矢量化处理

      可以使用np.searchsorted 建议一个矢量化的 -

      sidx = k.argsort() #k,v from approach #1
      
      k = k[sidx]
      v = v[sidx]
      
      idx = np.searchsorted(k,input_array.ravel()).reshape(input_array.shape)
      idx[idx==len(k)] = 0
      mask = k[idx] == input_array
      out = np.where(mask, v[idx], 0)
      

      方法#3:向量化一个,带有整数键的映射数组

      可以建议使用整数键的映射数组进行矢量化,当输入数组索引时,它会直接将我们引导到最终输出 -

      mapping_ar = np.zeros(k.max()+1,dtype=v.dtype) #k,v from approach #1
      mapping_ar[k] = v
      out = mapping_ar[input_array]
      

      【讨论】:

      • 方法#3 假设input_array 是一个非负整数数组,并且k 包含input_arr 的所有值。第二个问题可以通过将mapping_ar = np.zeros(k.max()+1,dtype=v.dtype) 替换为mapping_ar = np.arange(input_arr.max()+1) 来解决,但是如果input_arr 的值很大,这将不会有效。
      • 在方法 #2 中,最后一行应替换为 out = np.where(mask, v[idx], input_array)
      猜你喜欢
      • 2016-02-02
      • 2018-04-02
      • 2013-11-09
      • 2018-04-02
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多