用于大型只读存储的 Python Multiprocessing Manager dict 的替代方案

Question

我正在使用 Multiprocessing 和进程使用的大型 (~5G) 只读字典。我首先将整个 dict 传递给每个进程，但遇到内存限制，因此改为使用 Multiprocessing Manager dict（阅读此 How to share a dictionary between multiple processes in python without locking 后）

自更改以来，性能下降了。更快的共享数据存储有哪些替代方案？ dict有一个40个字符的字符串key，和2个小字符串元素元组数据。

Answer 1

使用内存映射文件。虽然这可能听起来很疯狂（性能方面），但如果你使用一些巧妙的技巧可能不会：

1. 对键进行排序，以便您可以在文件中使用二进制搜索来定位记录
2. 尽量使文件的每一行长度相同（“定宽记录”）

如果您不能使用固定宽度的记录，请使用以下伪代码：

Read 1KB in the middle (or enough to be sure the longest line fits *twice*)
Find the first new line character
Find the next new line character
Get a line as a substring between the two positions
Check the key (first 40 bytes)
If the key is too big, repeat with a 1KB block in the first half of the search range, else in the upper half of the search range

如果性能不够好，请考虑用 C 编写扩展。