如何清除熊猫中的数据框内存？答案

【问题标题】：How to clear Dataframe memory in pandas?如何清除熊猫中的数据框内存？
【发布时间】：2018-09-20 15:16:35
【问题描述】：

我正在使用 pandas read_fwf 方法将固定宽度文件转换为分隔符文件（'|' 分隔符）。我的输入文件（“infile.txt”）大约 16GB 和 990 万条记录，在创建一个数据帧时，它在创建输出文件之前占用了几乎 3 倍的内存（大约 48GB）。有人可以帮助我改进以下逻辑，并通过一些额外的内存来自哪里（我知道'seq_id，fname和loaddatime将占用一些空间，它应该只占用几个GB）。

注意： 我一个接一个地循环处理多个文件（类似大小的文件）。所以我必须在下一个文件接管之前清除内存。

'''infile.txt'''

1234567890AAAAAAAAAA
1234567890BBBBBBBBBB
1234567890CCCCCCCCCC

'''test_layout.csv'''

FIELD_NAME,START_POS,END_POS
FIELD1,0,10
FIELD2,10,20

'''test.py'''

import datetime
import pandas as pd
import csv
from collections import OrderedDict
import gc
seq_id = 1
fname= 'infile.txt'
loadDatetime = '04/10/2018'
in_layout = open("test_layout.csv","rt")
reader = csv.DictReader(in_layout)
boundries, col_names = [[],[]]
for row in reader:
    boundries.append(tuple([int(str(row['START_POS']).strip()) , int(str(row['END_POS']).strip())]))
    col_names.append(str(row['FIELD_NAME']).strip())
dataf = pd.read_fwf(fname, quoting=3, colspecs = boundries, dtype = object, names = col_names)
len_df = len(dataf)
'''Used pair of key, value tuples and OrderedDict to preserve the order of the columns'''
mod_dataf = pd.DataFrame(OrderedDict((('seq_id',[seq_id]*len_df),('fname',[fname]*len_df))), dtype=object)
ldt_ser = pd.Series([loadDatetime]*len_df,name='loadDatetime', dtype=object)
dataf = pd.concat([mod_dataf, dataf],axis=1)
alldfs = [mod_dataf]
del alldfs
gc.collect()
mod_dataf = pd.DataFrame()
dataf = pd.concat([dataf,ldt_ser],axis=1)
dataf.to_csv("outfile.txt", sep='|', quoting=3, escapechar='\\' , index=False, header=False,encoding='utf-8')
''' Release Memory used by DataFrames '''
alldfs = [dataf]
del ldt_ser
del alldfs
gc.collect()
dataf = pd.DataFrame()

我使用了垃圾收集器、del 数据帧并初始化以清除已使用的内存，但总内存仍未从数据帧中释放。灵感来自https://stackoverflow.com/a/49144260/2799214

'''输出'''

1|infile.txt|1234567890|AAAAAAAAAA|04/10/2018
1|infile.txt|1234567890|BBBBBBBBBB|04/10/2018
1|infile.txt|1234567890|CCCCCCCCCC|04/10/2018

【问题讨论】：

标签： pandas garbage-collection python-3.5

【解决方案1】：

我在使用https://stackoverflow.com/a/49144260/2799214 时遇到了同样的问题我通过将代码拆分为类中的不同方法找到了使用 gc.collect() 的解决方案。例如：

Class A:
    def __init__(self):
        # your code

    def first_part_of_my_code(self):
        # your code
        # I want to clear my dataframe
        del my_dataframe
        gc.collect()
        my_dataframe = pd.DataFrame() # not sure whether this line really helps
        return my_new_light_dataframe

    def second_part_of_my_code(self):
        # my code
        # same principle

所以当程序调用方法时，一旦程序离开方法，垃圾收集器就会清除内存。

【讨论】：