在 Python 3.4 中的不同进程之间共享大对象

Question

我试图在 Python 中的不同进程之间共享一个大对象（~2 GB），以减少内存使用。我已经了解了多处理库 (https://docs.python.org/3.4/library/multiprocessing.html#multiprocessing-managers) 中的 Manager 类和代理。但是，根据文档和其他 Stackoverflow 用户的说法，当它用于像这样的大型对象时，这可能会非常慢。这是正确的，如果是这样，是否有另一个更快的 Python 库或函数可以代替我使用？谢谢。

编辑：我创建的对象是一个 DAG（有向无环图），其构造函数由标准 python 值组成。

Answer 1

该问题的一个解决方案是使 图形成为一个进程，它公开使用代理从其他进程执行的方法。这意味着您必须构建与manager.dict 和manager.value 类似的类。 这是通过生产者/消费者模式完成的。它称为进程间调用 (IPC) 或远程过程调用 (RPC)。解决方案可能涉及zeroless 或pyro。

另一种解决方案，更简单

另一个解决方案是使用数据库。例如，bsddb 或lmdb 至少支持对数据库的多进程读取访问。使用ajgu 或the simpler design。可以让你免于编写大量代码。

最后的解决方案是在内存中构建一个 mmap 文件并从中读取。但这确实是一个解决方案，您的图形是只读的，因为如果您希望修改图形，您将需要开始编写一个 mmap 的图形数据库。这具有完全在内存中的优势。

我的建议是使用 lmdb 构建一个图形数据库，以 ajgu 的简单版本为例，其中包含两个脚本：

• 一个创建数据库
• 另一个类将使用来自不同进程的图表。

Answer 2

如果您的数据仅限于标准值和数组（没有其他 Python 对象），您可以使用共享内存（Value() 和 Array()，请参阅 https://docs.python.org/3.4/library/multiprocessing.html#shared-ctypes-objects）。速度非常快。