矢量化 - 如何在没有循环的情况下附加数组

Question

我有以下代码：

x = range(100)
M = len(x)
sample=np.zeros((M,41632))
for i in range(M):
    lista=np.load('sample'+str(i)+'.npy')
    for j in range(41632):
        sample[i,j]=np.array(lista[j])
     print i

创建一个由 sample_i numpy 数组组成的数组。

sample0、sample1、sample3 等是 numpy 数组，我的预期输出是这样的 Mx41632 数组：

sample = [[sample0],[sample1],[sample2],...]

如何在没有循环的情况下压缩并更快地执行此操作？ M也可以达到100万。

或者，如果起点是 1000 而不是 0，我如何附加我的示例数组？

提前致谢

Answer 1

初始加载

您可以通过避免内部循环和不将sample 初始化为零来使您的代码更快。

x = range(100)
M = len(x)
sample = np.empty((M, 41632))
for i in range(M):
    sample[i, :] = np.load('sample'+str(i)+'.npy')

在我的测试中，读取代码的时间从 3 秒缩短到了 60 毫秒！

添加行

通常，更改 numpy 数组的大小非常慢。以这种方式加载数据后，您可以追加一行：

sample = np.insert(sample, len(sample), newrow, axis=0)

但这几乎不是你想做的，因为它太慢了。

更好的存储：HDF5

此外，如果 M 非常大，您可能会开始耗尽内存。

我建议您查看PyTables，它允许您将样本结果存储在一个 HDF5 文件中并在不将其加载到内存的情况下操作数据。这通常会比您现在使用的 .npy 文件快很多。

Answer 2

使用 numpy 非常简单。考虑这个例子：

import numpy as np
l = [[1,2,3],[4,5,6],[7,8,9],[10,11,12]]
#create an array with 4 rows and 3 columns
arr = np.zeros([4,3])
arr[:,:] = l

您也可以单独插入行或列：

#insert the first row
arr[0,:] = l[0]

您只需要提供相同的尺寸即可。