numpy中的图像堆栈填充速度很慢

Question

我正在通过 numpy/python 将单独的 tiff 堆栈读取到单个 3D 数组中。当文件只是被读取并插入某个变量时，速度与文件数量成线性关系，例如，加载 100 个文件需要 0.2 秒，加载 1000 个文件需要 2.46 秒等等。

但是，当我尝试从这些文件中创建 3D 堆栈时，使用 dstack() 时间开始非线性缩放，例如10个文件0.21秒，100个文件5.39秒等等。

我意识到减速是由 dstack() 背后的一些魔法造成的。从一组图像文件创建 3D 堆栈的正确和最快的方法是什么？

如果我不使用 dtack()，而是预先创建 3D 数组然后填充它，脚本运行得更快，但仍然非线性缩放（0.2s 用于 10，2.2s 用于 100，40s 用于 1000 个图像) 本案例代码：

import numpy as np
from PIL import Image
import time
import random

def toc(t):
    return time.time() - t

i_max = 1000
t = time.time()
for i in range(0,i_max):
    fname = r"..\Pos0\img_"+("%09d"%i)+"_Default_000.tif"
    im = np.array(Image.open(fname))
    if i>0:
        stack[:,:,i] = im
    else:
        s = im.shape
        stack = np.empty((s[0],s[1],i_max))
        stack[:,:,0] = im
print toc(t)

PS：Python 2.7.8 Anaconda 2.1，Intel i5 @ 32GB RAM，从 4-striped HDD 读取

Answer 1

您可以通过更改索引顺序来解决此问题，首先使图像索引。像这样：

i_max = 1000
sx, sy = 1000,1000
t = time.time()
for i in range(0,i_max):
    im = np.ones((sx,sy))
    if i>0:
        #stack[:,:,i] = im
        stack[i,:,:] = im
    else:
        #stack = np.empty((sx,sy,i_max))
        #stack[:,:,0] = im
        stack = np.empty((i_max, sx, sy))
        stack[0,:,:] = im
print toc(t)

我得到的时间是：

4.44851183891   # original order, i_max = 100
118.510767937   # original order, i_max = 1000

1.78239989281   # modified order, i_max = 100
23.4904351234   # modified order, i_max = 1000

我认为这样做的原因是数据不是逐位处理的，而是以固定大小的块的形式处理的，而不管每个块中实际使用了多少数据。根据您的原始订单，这些块没有得到有效使用。例如，看这个视频的前几分钟：https://vimeo.com/97337258 也就是说，它不是关于 RAM，而是关于 CPU 缓存。