更快地读取_CSV 文件

Question

我在 pandas 数据框中快速读取 203 mb 文件时遇到了一些问题。我想知道是否有更快的方法可以做到这一点。以下是我的功能：

import pandas as pd
import numpy as np

def file(filename):
    df = pd.read_csv(filename, header=None, sep='delimiter', engine='python', skiprows=1)
    df = pd.DataFrame(df[0].str.split(',').tolist())
    df = df.drop(df.columns[range(4,70)], axis=1)
    df.columns = ['time','id1','id2','amount']
    return df

当我使用魔术%timeit 函数时，读取文件并将其上传到 python 笔记本大约需要 6 秒。我该怎么做才能加快速度？

谢谢！

Answer 1

更新：查看您的逻辑，您似乎不需要首先使用sep='delimiter'，因为您将只使用（拆分）第一列（索引=0），所以您可以简单地这样做：

df = pd.read_csv(filename, header=None, usecols=[0,1,2,3],
                 names=['time','id1','id2','amount'],
                 skipinitialspace=True, skiprows=1)

默认情况下，read_csv() 将使用 C 引擎，如果 sep 不超过 1 个字符或 \s+ ，则速度更快

旧答案：

首先不要阅读你不需要的列（或者你将要删除的列：df.drop(df.columns[range(4,70)], axis=1)）：

df = pd.read_csv(filename, header=None, usecols=[0], names=['txt'],
                 sep='delimiter', skiprows=1)

然后将单个解析的列拆分为四个：

df[['time','id1','id2','amount']] = df.pop('txt').str.split(',', expand=True)

PS 我强烈建议将您的数据转换为 HDF5 格式（如果可以的话）并忘记 CSV 文件的所有这些问题；）