pympler asizeof 与 sys.getsizeof答案

【问题标题】：pympler asizeof vs sys.getsizeofpympler asizeof 与 sys.getsizeof
【发布时间】：2016-01-14 10:35:28
【问题描述】：

我有一个腌制的文件。它的大小为 9.3MB。

-rw-r--r-- 1 ankit ankit 9.3M Jan  7 17:43 agg_397127.pkl

我使用 cPickle 在 python 中加载它。我尝试使用 pympler asizeof 确定它的大小。但是 asize of 和 sys.getsizeof 给出的大小有相当大的差异

from pympler import asizeof
import cPickle as pickle
path = "agg_397127.pkl"
temp  = pickle.load(open(path, 'rb'))
temp
{397127: RandomForestRegressor(bootstrap=True, criterion='band_predict',
           max_depth=None, max_features='auto', max_leaf_nodes=None,
           min_samples_leaf=1, min_samples_split=2,
           min_weight_fraction_leaf=0.0, n_estimators=1000, n_jobs=1,
           oob_score=False, random_state=0, verbose=0, warm_start=False)}
asizeof.asizeof(temp)
1328504
asizeof.flatsize(temp)
import sys
sys.getsizeof(temp)
280

有人能解释一下为什么会有这样的差异吗？

【问题讨论】：

标签： python pickle

【解决方案1】：

sys.getsizeof() 返回传递给它的对象的大小-在您的示例中，这是一个带有一个条目的字典。它不包括字典引用的复杂类实例的大小，也不包括该实例引用的任何对象。任何只有几个条目（在我的 Python 版本上最多 5 个）的字典都会返回完全相同的数字。

您正在使用的assizeof 模块尝试递归地累加所有这些引用对象的大小。考虑到返回的大小和泡菜大小之间的巨大差异，在这种情况下似乎做得不是很好（但请注意，这些数字永远不会完全相等，因为磁盘上泡菜的格式必然是不同于内存中实际对象的格式）。

【讨论】：