Python，内存字典的任何替代方案都为键=>值访问消耗更少的内存

Question

使用 Python 2.7.x 系列，我遇到以下问题，我需要一个 dict 结构，以便在 D[key] = value 的基础上快速访问，所以 dict 应该是完美的。

顺便说一句，我有MemoryError，因为我需要在内存中有两个对象族，它们都很大（数亿）并且链接：这个字典以及链接树对象的结构（实际上尝试） .

是否有任何替代 dict python 对象具有非常低的内存占用？

值将是一个“id”（字符串），键是一个 * Unicode * 字符串（所以对于重音字符和其他奇怪的字符，我似乎无法将 intern 构造用作 Unicode）。

是否有任何工具可以帮助我，即使散列过程的性能略有下降（不是太多;））。这种设计有哪些常见的良好实践？ （我想避免依赖外部数据库的解决方案，因为这个过程已经很慢了，而且我需要太多的这些对象访问。）

Answer 1

shelve 模块提供了一个可以满足您需求的持久字典：

>>> import shelve
>>> db = shelve('cache.db')
>>> db = shelve.open('cache.db')
>>> db['id1'] = u'string data'
>>> db['id1']
'string data'

您可以像使用普通字典一样使用它，但它将所有数据存储在文件（数据库）中的键值存储中。这可能足以满足您的需求，因为后台正在进行一些缓存。尝试它的工作量应该很小。

Answer 2

您有多种选择：

• 切换到 Python 3.6。

字典在 3.6 中得到了改善。速度更快，占用空间更小，默认排序，我确定我忘记了一些东西。

• 获取更多内存。

您显然是在不符合要求的机器上做一些受内存限制的事情。购买更多 RAM，或租用 m4.xlarge AWS 实例，或其他方式。

• 重新定义问题。

您是否需要一次将所有数百万个项目存储在内存中？你是在同时处理它们吗？几乎绝对不是。更智能地编写算法，一次处理数据块，甚至一次处理项目。如果你让这个并发（not necessarily parallel），大部分等待时间将是 IO，并且可以很容易地在 Python 中线程化。

尝试使用生成器表达式和生成器。它们的内存使用量很小。

• 使用数据库

数据库专门用来解决这个问题。编写一个小型导入器将您的数据放入 MySQL 或 MongoDB，然后用 SQL 表达您的问题。