【发布时间】：2020-12-10 22:32:43
【问题描述】：
我有几个巨大的数据帧，我正在编写多线程函数以将它们以 .csv 格式写入磁盘，但这需要很长时间，我想要恢复内存，以便在这些缓慢写入的同时获取更多巨大的数据帧。
是否可以使用 pandas 来：
- 写一个块
- 从数据帧中删除这些行以释放内存
- 重复直到数据帧以 csv 格式写入磁盘并且线程完成
【问题讨论】：
-
这非常有用。答案是“不要为此使用 pandas”。我要去探索达斯克。谢谢！
【发布时间】：2020-12-10 22:32:43
【问题描述】：
我不太确定这在后台是如何工作的 - 但假设 chunksize 参数可能是您正在寻找的。p>
【讨论】：