如何在 Python 中进行数据并行化？

Question

所以，我有 3 维列表。例如：

A=[[[1,2,3],[4,5,6],[7,8,9]],...,[[2,4,1],[1,4,6],[1,2,4]]]

我想独立处理 A 中的每个二维列表，但它们都有相同的过程。如果我按顺序做，我会做：

for i in range(len(A)):
    A[i]=process(A[i])

但是，这需要很长时间。您能告诉我如何通过 Python 中的数据并行化进行并行计算吗？

Answer 1

如果您有多个内核并且处理每个二维列表是昂贵的操作，您可以使用multiprocessing 中的Pool。这是一个在不同过程中对数字进行平方的简短示例：

import multiprocessing as mp

A = [[[1,2,3],[4,5,6],[7,8,9]],[[2,4,1],[1,4,6],[1,2,4]]]

def square(l):
    return [[x * x for x in sub] for sub in l]

pool = mp.Pool(processes=mp.cpu_count())
res = pool.map(square, A)

print res

输出：

[[[1, 4, 9], [16, 25, 36], [49, 64, 81]], [[4, 16, 1], [1, 16, 36], [1, 4, 16]]]

Pool.map 的行为类似于内置的map，同时将可迭代对象拆分为工作进程。它还有第三个参数chunksize，它定义了有多大的块提交给工人。