将大量 .data 加载到数组中的最快方法

Question

我在 stackexchange 中广泛搜索了一个将巨大 (~2GB) .dat 文件加载到 numpy 数组中的巧妙解决方案，但没有找到合适的解决方案。到目前为止，我设法以非常快速的方式（

list=[]
f = open('myhugefile0')
for line in f:
    list.append(line)
f.close()

使用 np.loadtxt 会冻结我的计算机并需要几分钟才能加载（约 10 分钟）。如何将文件作为数组打开，而不会出现似乎瓶颈 np.loadtxt 的分配问题？

编辑：

输入数据是一个浮点数 (200000,5181) 数组。一行示例：

2.27069e-15 2.40985e-15 2.22525e-15 2.1138e-15 1.92038e-15 1.54218e-15 1.30739e-15 1.09205e-15 8.53416e-16 7.715236e-16 7.5836 16 8.81664e-16 1.09204e-15 1.27305e-15 1.58008e-15

等等

谢谢

Answer 1

查看source，似乎numpy.loadtxt 包含很多代码来处理许多不同的格式。如果您有一个定义明确的输入文件，编写您自己的针对特定文件格式优化的函数并不难。像这样的东西（未经测试）：

def load_big_file(fname):
    '''only works for well-formed text file of space-separated doubles'''

    rows = []  # unknown number of lines, so use list
    with open(fname) as f:
        for line in f:
            line = [float(s) for s in line.split()]
            rows.append(np.array(line, dtype = np.double))
    return np.vstack(rows)  # convert list of vectors to array

如果之前知道行数和列数，另一种解决方案可能是：

def load_known_size(fname, nrow, ncol)
    x = np.empty((nrow, ncol), dtype = np.double)
    with open(fname) as f:
        for irow, line in enumerate(f):
            for icol, s in enumerate(line.split()):
                x[irow, icol] = float(s)
    return x

这样，你不必分配所有的中间列表。

编辑：似乎第二种解决方案有点慢，列表理解可能比显式 for 循环更快。结合这两种解决方案，并使用 Numpy 进行从字符串到浮点数的隐式转换（现在才发现）的技巧，这可能会更快：

def load_known_size(fname, nrow, ncol)
    x = np.empty((nrow, ncol), dtype = np.double)
    with open(fname) as f:
        for irow, line in enumerate(f):
            x[irow, :] = line.split()
    return x

要获得进一步的加速，您可能必须使用一些用 C 或 Cython 编写的代码。我很想知道这些函数打开您的文件需要多长时间。