这个字节串实际占用了多少内存？答案

【问题标题】：How much memory does this byte string actually take up?这个字节串实际占用了多少内存？
【发布时间】：2017-06-05 01:34:49
【问题描述】：

我的理解是 os.urandom(size) 输出给定“大小”的随机字节串，但是：

import os
import sys

print(sys.getsizeof(os.urandom(42)))

>>>
75

为什么不是 42？

还有一个相关的问题：

import base64
import binascii


print(sys.getsizeof(base64.b64encode(os.urandom(42))))
print(sys.getsizeof(binascii.hexlify(os.urandom(42))))

>>>
89
117

为什么它们如此不同？哪种编码是存储 os.urandom 给出的字节字符串的最节省内存的方式？

编辑：说这个问题与What is the difference between len() and sys.getsizeof() methods in python? 重复似乎有点牵强。我的问题不是关于 len() 和 getsizeof() 之间的区别。我对 Python 对象通常使用的内存感到困惑，这个问题的答案已经为我阐明了这一点。

【问题讨论】：

在第二个示例中，生成的字符串长度不同（base64 与十六进制），因此不相等。您通常可以通过获取 getsizeof() 的结果并减去每个对象的 len() 来计算每个对象使用了多少内存，因此在您的情况下，每个对象都添加了 33 个额外的字节。

标签： python python-3.x memory encoding base64

【解决方案1】：

Python 字节字符串对象不仅仅是组成它们的字符。它们是完全成熟的对象。因此，它们需要更多空间来容纳对象的组件，例如类型指针（需要识别字节串是什么类型的对象）和长度（需要提高效率，因为 Python 字节串可以包含空字节）。

最简单的对象，object 实例，需要空间：

>>> sys.getsizeof(object())
16

你问题的第二部分仅仅是因为b64encode()和hexlify()产生的字符串长度不同；后者长 28 个字符，不出所料，这就是 sys.getsizeof() 报告的值的差异。

>>> s1 = base64.b64encode(os.urandom(42))
>>> s1
b'CtlMjDM9q7zp+pGogQci8gr0igJsyZVjSP4oWmMj2A8diawJctV/8sTa'
>>> s2 = binascii.hexlify(os.urandom(42))
>>> s2
b'c82d35f717507d6f5ffc5eda1ee1bfd50a62689c08ba12055a5c39f95b93292ddf4544751fbc79564345'

>>> len(s2) - len(s1)
28
>>> sys.getsizeof(s2) - sys.getsizeof(s1)
28

除非您使用某种形式的压缩，否则没有任何编码会比您已有的二进制字符串更有效，在这种情况下尤其如此，因为数据是随机本质上是不可压缩的。

【讨论】：