在泡菜倾倒时节省内存

Question

在运行第三方脚本为深度学习模型生成特征时，我遇到了内存/交换问题。当我运行生成这些功能并将它们保存到 pkl 文件的脚本时，我得到了这个输出：

generate unigram
Headline unigram done
Killed

代码sn-p是：

    print "generate unigram"
    data["Headline_unigram"] = data["Headline"].map(lambda x: preprocess_data(x))
    print "Headline unigram done"
    data["articleBody_unigram"] = data["articleBody"].map(lambda x: preprocess_data(x))
    print "Body unigram done"

    print "generate bigram"
    join_str = "_"
    data["Headline_bigram"] = data["Headline_unigram"].map(lambda x: ngram.getBigram(x, join_str))
    print "Headline bigram done"
    data["articleBody_bigram"] = data["articleBody_unigram"].map(lambda x: ngram.getBigram(x, join_str))
    print "Body bigram done"

    print "generate trigram"
    join_str = "_"
    data["Headline_trigram"] = data["Headline_unigram"].map(lambda x: ngram.getTrigram(x, join_str))
    print "Headline trigram done"
    data["articleBody_trigram"] = data["articleBody_unigram"].map(lambda x: ngram.getTrigram(x, join_str))
    print "Body trigram done"

    with open(cwd+'data.pkl', 'wb') as outfile:
        cPickle.dump(data, outfile, -1)
        print 'dataframe saved in data.pkl'

它几乎可以为 pandas 数据框中的两列生成一元/二元/三元。 data 对象很大，包含 900k 个条目，这就是我遇到 RAM/交换问题的原因。我的问题是，在每一行之后保存到泡菜文件（又名转储）并释放该行使用的内存的正确方法是什么。例如：

做完之后

data["Headline_unigram"] = data["Headline"].map(lambda x: preprocess_data(x))

如何将其保存到 .pkl 文件并释放 data["Headline"] 正在使用的内存而不丢失其内容？由于这是第三方代码，所以修改完全不应该改变data.pkl的结构

谢谢， 卢卡斯。

Answer 1

怎么样

with open("head_line.pkl", "wb") as fh:
    cPickle.dump(data["Headline"], fh)
del data["Headline"]

等等……

但这会导致多个文件。

此外，您可以在开头import gc，然后在其间运行gc.collect。但是你不能相信这会删除所有未使用的对象。

一旦对象在给定的执行环境中最后一次使用，Python 应该会自动释放内存。 （见gc）