熊猫中的内存错误

Question

我有一个大小约为 800MB 的 csv 文件，我正在尝试通过 pandas 将其加载到数据帧中，但我不断收到内存错误。我需要加载它，以便将它加入另一个较小的数据框。

为什么即使我使用的是 64 位版本的 Windows 和 Python 3.4 64 位并且有超过 8GB 的​​ RAM 和充足的硬盘，我也会遇到内存错误？这是熊猫中的错误吗？我该如何解决这个内存问题？

Answer 1

分块阅读 CSV 可能会有所帮助：

chunk_size = 10**5
df = pd.concat([chunk for chunk in pd.read_csv(filename, chunksize=chunk_size)],
               ignore_index=False)