与多处理并行填充字典

Question

昨天我问了一个问题：Reading data in parallel with multiprocess

我得到了很好的答案，并且我实施了我标记为正确的答案中提到的解决方案。

def read_energies(motif):
    os.chdir("blabla/working_directory")
    complx_ener = pd.DataFrame()
    # complex function to fill that dataframe 
    lig_ener = pd.DataFrame()
    # complex function to fill that dataframe 
    return motif, complx_ener, lig_ener

COMPLEX_ENERGIS = {}
LIGAND_ENERGIES = {}
p = multiprocessing.Pool(processes=CPU)
for x in p.imap_unordered(read_energies, peptide_kd.keys()):
    COMPLEX_ENERGIS[x[0]] = x[1]
    LIGAND_ENERGIES[x[0]] = x[2]

但是，此解决方案所花费的时间与我仅遍历 peptide_kd.keys() 并一一填充 DataFrames 所花费的时间相同。为什么呢？有没有办法并行填充所需的字典并实际提高速度？我在 48 核 HPC 上运行它。

Answer 1

在 (1) 启动每个进程和 (2) 必须在多个进程之间复制 pandas.DataFrame （等等）时会产生大量开销。如果您只需要并行填充dict，我建议使用共享内存dict。如果没有键会被覆盖，那么这很容易，您不必担心锁。

（注意我在下面使用multiprocess，它是multiprocessing 的一个分支——但只有这样我才能从解释器中演示，否则，您必须从__main__ 执行以下操作）。

>>> from multiprocess import Process, Manager
>>> 
>>> def f(d, x):
...   d[x] = x**2
... 
>>> manager = Manager()
>>> d = manager.dict()
>>> job = [Process(target=f, args=(d, i)) for i in range(5)]
>>> _ = [p.start() for p in job]
>>> _ = [p.join() for p in job]
>>> print d
{0: 0, 1: 1, 2: 4, 3: 9, 4: 16}

此解决方案不会复制dict 以跨进程共享，因此会减少部分开销。对于像pandas.DataFrame 这样的大对象，与像x**2 这样的简单操作的成本相比，它可能是显着的。同样，生成Process 可能需要一些时间，并且您也许可以通过使用线程（即来自multiprocess.dummy 而不是multiprocess 对于您最初发布的解决方案或我上面的解决方案）更快地完成上述操作（对于轻量级对象） )。

如果您确实需要共享DataFrames（正如您的代码所建议的而不是问题所要求的那样），您可以通过创建共享内存numpy.ndarray 来实现。