pandas 内存效率最高的读写器

Question

当我想调用pandas.read..function 时，什么是内存效率最高的读取器/写入器，它将在我的机器上节省最多的内存？我想读取一个大数据文件，想知道我是否可以预先选择一种格式来使用其他工具来保存数据，以节省 python 中的一些内存消耗。

是：pd.read_csv, pd.read_hdf, ..？

这里解释快速文件：Fastest file format for read/write operations with Pandas and/or Numpy

这也是最节省内存的方式吗？

Answer 1

为什么不使用 modin 库。它旨在加速大多数数据帧操作。您可以在此链接https://github.com/modin-project/modin 找到更多信息。