【问题标题】:Unable to allocate无法分配
【发布时间】:2021-02-20 06:05:40
【问题描述】:

我遇到了一个问题,我需要读取文件却给我一个错误 “无法为形状为 (5, 6362620) 且数据类型为 float64 的数组分配 243.MiB”

这是我的代码

import numpy as np
import pandas as pd
import os

for dirname, _, filenames in os.walk('D:/School/Classes/2nd Sem/Datasets/fraud.csv'):
    for filename in filenames:
        print(os.path.join(dirname, filename))

df = pd.read_csv('D:/School/Classes/2nd Sem/Datasets/fraud.csv')

当我运行最后一行代码时,它会给我一个错误。

PS。我用的是python3 jupyter notebook,windows 10 home 单语言

【问题讨论】:

    标签: python pandas


    【解决方案1】:

    MemoryError 即将到来,因为您的文件太大,要解决此问题,您可以使用 chunk-size

    import pandas as pd
    df = pd.read_csv("D:/School/Classes/2nd Sem/Datasets/fraud.csv", chunksize=1000)
    

    更多帮助的链接 - https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html

    【讨论】:

      猜你喜欢
      • 2013-07-03
      • 2021-01-20
      • 2019-07-19
      • 2011-12-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-05-17
      • 1970-01-01
      相关资源
      最近更新 更多