将 CSV 文件处理为 numpy 数组的有效方法

Question

CSV 文件可能不干净（元素数量不一致的行），需要忽略不干净的行。 处理过程中需要对字符串进行操作。

示例输入：

20150701 20:00:15.173,0.5019,0.91665

期望的输出：float32（伪日期，一天中的秒数，f3，f4）

0.150701 72015.173 0.5019 0.91665 (+ the trailing trash floats usually get)

CSV 文件也很大，内存中的 numpy 数组预计会占用 5-10 GB，CSV 文件超过 30GB。

寻找一种有效的方法来处理 CSV 文件并最终得到一个 numpy 数组。

当前解决方案：使用 csv 模块，逐行处理并使用 list() 作为缓冲区，稍后使用 asarray() 将其转换为 numpy 数组。问题是，在翻转过程中，内存消耗增加了一倍，并且复制过程增加了执行开销。

Numpy 的 genfromtxt 和 loadtxt 似乎无法按需要处理数据。

Answer 1

如果您事先知道数据中有多少行，则可以省去中间的list，直接写入数组。

import numpy as np

no_rows = 5
no_columns = 4

a = np.zeros((no_rows, no_columns), dtype = np.float)

with open('myfile') as f:
    for i, line in enumerate(f):
        a[i,:] = cool_function_that_returns_formatted_data(line)

Answer 2

您是否考虑过使用 pandas read_csv (with engine='C')

我发现它是处理 csv 的最佳且最简单的解决方案之一。我使用 4GB 文件，它对我有用。

import pandas as pd
df=pd.read_csv('abc.csv',engine='C')
print(df.head(10))

Answer 3

我认为i/o capability of pandas 是将数据放入 numpy 数组的最佳方式。具体来说，read_csv 方法将读入 pandas DataFrame。然后，您可以使用返回的 DataFrame 的 as_matrix 方法访问底层 numpy 数组。