使用分块将 CSV 文件读入 Pandas 数据帧，生成单个目标数据帧

Question

我需要将 Pandas 中的 4GB 大文件作为 csv 读入数据帧。这是我当前的代码：

source_data_df = pd.read_csv(temp_file, skipinitialspace=True, dtype=str, na_values=['N.A.'])

由于内存不足错误而失败。

我知道我可以使用 chunksize Pandas 选项来降低内存利用率并在保存到磁盘之前以块的形式处理数据。在将其保存到磁盘之前，我无法弄清楚如何使用来自块中的 csv 文件的所有数据创建生成的单个数据帧。我需要帮助完成这段代码来创建这个最终的数据框。有人可以帮忙吗？

chunksize = 10000000
with pd.read_csv(temp_file, skipinitialspace=True, dtype=str, na_values=['N.A.'], chunksize=chunksize) as reader:
    for chunk in reader:
        process(chunk)

或者，可以将处理过的块附加到磁盘上的单个目标文件中吗？那么上面的代码会是什么样子呢？

另外，需要关于 3 GB 文件的最佳块大小的建议，块大小是否代表块的大小（以字节为单位）？比如说 500 MB 的块是什么意思？

chunksize 的度量单位是什么？我以为是字节，有人可以确认吗？

非常感谢！

Answer 1

您可以使用以下方法读取块：

for df in pd.read_csv("path_to_file",  chunksize=chunksize):
  process(df)

块的大小与您的数据有关。例如，如果您的文件有 4GB 和 10 个样本（行），并且您将块大小定义为 5，则每个块将有 ~2GB 和 5 个样本。

您也可以分析文件格式，the parquet format has better compression power than CSV。