【问题标题】:How read_csv exactly works in python?read_csv 在 python 中究竟是如何工作的?
【发布时间】:2019-02-19 19:37:01
【问题描述】:

我想使用 python 从 csv 文件中读取数据。我正在研究内存管理,所以我想问一下: 当我在python中调用pandas模块的read_csv时,文件中的数据被加载到RAM内存然后读取,还是直接从磁盘读取? 如果我想分块读取 csv 文件,数据会在 RAM 中逐块加载吗?

【问题讨论】:

  • “直读”是什么意思?如果不在内存中,您认为程序运行时数据存储在哪里?关于块读取,这是重复的。
  • 一个可能的重复是How to read a 6 GB csv file with pandas
  • 基本上我的问题是,如果将文件分成块,当遍历一个块时,所有以前的块都留在 RAM 中还是被删除?
  • 他们可能是,也可能不是。内存管理不取决于您。但是你肯定不能再访问它们了,所以操作系统可以随意删除它们(从内存中)。

标签: python python-3.x csv memory-management


【解决方案1】:

documentation

还支持可选地将文件迭代或分解成块。

块大小:整数,可选

返回 TextFileReader 对象进行迭代。有关迭代器和块大小的更多信息,请参阅IO Tools docs

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2023-04-01
    • 2013-05-06
    • 1970-01-01
    • 2011-06-26
    • 2021-08-15
    • 2012-06-08
    • 2011-10-11
    相关资源
    最近更新 更多