将多个镶木地板文件加载到数据框中进行分析答案

【问题标题】：Load multiple parquet files into dataframe for analysis将多个镶木地板文件加载到数据框中进行分析
【发布时间】：2018-10-02 17:46:14
【问题描述】：

我有几个 .parquet 文件，每个文件的形状为 (1126399, 503)，大小为 13MB。据我所知和我所读到的，这应该可以在本地机器上很好地处理。我正在尝试将它们放入 pandas 数据框以进行一些分析，但这样做时遇到了麻烦。将它们保存到 CSV 文件的成本太高，因为文件变得非常大并将它们直接加载到几个数据帧中，然后连接会给我带来内存错误。我从未使用过 .parquet 文件，也不确定最佳前进路径是什么，或者如何使用这些文件对数据进行实际分析。

起初，我尝试过：

import pandas as pd
import pyarrow.parquet as pq

# This is repeated for all files
p0 = pq.read_table('part0.parquet') # each part increases python's memory usage by ~14%
df0 = part0.to_pandas() # each frame increases python's memory usage by additional ~14%

# Concatenate all dataframes together
df = pd.concat([df0, df1, df2, df3, df4, df6, df7], ignore_index=True)

这导致我内存不足。我在具有 12 个内核和 32GB 内存的系统上运行。我想我会更有效率，并尝试循环并删除不再需要的文件：

import pandas as pd

# Loop through files and load into a dataframe
df = pd.read_parquet('part0.parquet', engine='pyarrow')
files = ['part1.parquet', 'part2.parquet', 'part3.parquet'] # in total there are 6 files

for file in files:
    data = pd.read_parque(file)
    df = df.append(data, ignore_index=True)
    del data

不幸的是，这些都不起作用。非常感谢任何和所有帮助。

【问题讨论】：

标签： python pandas dataframe parquet

【解决方案1】：

我打开https://issues.apache.org/jira/browse/ARROW-3424 至少要在 pyarrow 中创建一个函数，该函数将尽可能高效地加载文件路径的集合。您可以使用pyarrow.parquet.read_table 单独加载它们，将pyarrow.Table 对象与pyarrow.concat_tables 连接，然后调用Table.to_pandas 转换为pandas.DataFrame。这将比与 pandas 连接更有效

【讨论】：