【发布时间】:2019-12-07 03:50:22
【问题描述】:
在 Python 中,我有一个需要循环迭代的对象列表,并为每次迭代输出一个结果,同时跟踪被迭代对象的索引.
通常,这不是问题,因为我可以使用 enumerate 并做
results = []
for index, value in enumerate(list_of_objects):
... *calculations* ...
results.append([index, result_of_calculations])
但是,最近我的计算时间太长了,所以我开始使用joblib 来并行化我的循环。但是,现在我无法使用enumerate 跟踪操作索引,因为循环的每一部分都可以在不规则的时间开始和结束,我被难住了。
我怎样才能让像下面这样的代码工作,其中子数组的每个第一个值都引用用于该特定迭代的对象的索引?
from joblib import Parallel, delayed
def single_loop_function(x):
single_output = *some calculations based on x*
return single_output
all_output = Parallel(n_jobs=-1, verbose=3, backend="loky")(
map(delayed(single_loop_function), list_of_objects))
print(all_output)
[[0, *result*], [1, *result*], ... [5, *result*], [3, *result*]]
【问题讨论】:
标签: python loops parallel-processing joblib