访问共享内存然后从文件加载需要更长的时间？

Question

我有一个非常大的文件加载到我的主进程中。我的目标是让多个进程同时从内存中读取，以避免内存限制并使其更快。

根据this的回答，我应该使用Shared ctypes Objects

管理器类型是为灵活性而非效率而构建的……这必然意味着复制任何有问题的对象。 .... 如果你想要共享物理内存，我建议使用Shared ctypes Objects。这些实际上确实指向内存中的一个公共位置，因此速度更快，资源也更少。

所以我这样做了：

import time
import pickle
import multiprocessing
from functools import partial

def foo(_, v):
    tp = time.time()
    v = v.value
    print(hex(id(v)))
    print(f'took me {time.time()-tp} in process')

if __name__ == '__main__':
    # creates a file which is about 800 MB
    with open('foo.pkl', 'wb') as file:
        pickle.dump('aaabbbaa'*int(1e8), file, protocol=pickle.HIGHEST_PROTOCOL)

    t1 = time.time()
    with open('foo.pkl', 'rb') as file:
        contract_conversion = pickle.load(file)
    print(f'load took {time.time()-t1}')

    m = multiprocessing.Manager()
    vm = m.Value(str, contract_conversion, lock=False)  # not locked because i only read from it so its safe
    foo_p = partial(foo, v=vm)

    tpo = time.time()
    with multiprocessing.Pool() as pool:
       pool.map(foo_p, range(4))
    print(f'took me {time.time()-tpo} for pool stuff')

但是我可以看到进程使用复制它（每个进程中的内存非常高）并且它比简单地从磁盘读取要慢得多。

---

印刷品：

load took 0.8662333488464355
0x1c736ca0040
took me 2.286606550216675 in process
0x15cc0404040
took me 3.178203582763672 in process
0x1f30f049040
took me 4.179721355438232 in process
0x21d2c8cc040
took me 4.913192510604858 in process
took me 5.251579999923706 for pool stuff

id 也不一样，虽然我不确定 id 是简单的 python 标识符还是内存位置。

Answer 1

您没有使用共享内存。那将是multiprocessing.Value，而不是multiprocessing.Manager().Value。您将字符串存储在管理器的服务器进程中，并通过 TLS 连接发送泡菜以访问该值。此外，服务器进程在处理请求时受到其自身 GIL 的限制。

我不知道这些方面对开销的贡献有多大，但总体而言它比读取共享内存更昂贵。