【问题标题】:Python, Memory Error in making dataframePython,制作数据框时出现内存错误
【发布时间】:2015-07-06 08:50:20
【问题描述】:

当我使用 pandas DataFrame 时,发生 内存错误

数据的行是200000,列是30。(类型:列表) fieldnames1 有列名。(type:list)

错误发生在:

df = pd.DataFrame(data,columns=[fieldnames1])

我该怎么办? (python 版本 2.7 32bit)

【问题讨论】:

  • 你的内存用完了。尝试使用更少的数据进行测试,并结合使用更多的 RAM、64 位操作系统和 64 位 Python。
  • 有什么理由不使用 64 位版本的 python?在 df 中存储列表也有点奇怪

标签: python memory pandas


【解决方案1】:

正如 Klaus 所说,您的内存不足。当您尝试一次将整个文本拉入内存时会出现问题。

正如 Wes McKinney 的 in this post 所指出的,“一种解决方案是将文件分成小块读取(使用 iterator=True, chunksize=1000),然后与 pd.concat 连接”。

【讨论】:

    【解决方案2】:

    你可以试试这行代码:

    data=pd.DataFrame.from_csv("train.csv")
    

    这是 read.csv 的替代,但它返回 Data frame 对象而不给出任何内存错误 P.S 训练数据的大小约为 73 mb

    【讨论】:

      猜你喜欢
      • 2019-01-21
      • 2017-12-28
      • 2016-08-16
      • 2019-11-16
      • 2020-04-13
      • 2018-09-15
      • 1970-01-01
      • 2011-12-08
      • 1970-01-01
      相关资源
      最近更新 更多