在python中并行化嵌套for循环以查找最大值

Question

我正在努力改善这段代码的执行时间。由于计算非常耗时，我认为最好的解决方案是并行化代码。 输出也可以存储在内存中，然后写入文件。

我对 Python 和并行性都是新手，所以我发现很难应用 here 和 here 解释的概念。我还发现了this 问题，但我无法弄清楚如何针对我的情况实施同样的问题。 我正在使用 Python 3.4 在 Windows 平台上工作。

for i in range(0, len(unique_words)):
    max_similarity = 0        
    max_similarity_word = ""
    for j in range(0, len(unique_words)):
        if not i == j:
            similarity = calculate_similarity(global_map[unique_words[i]], global_map[unique_words[j]])
            if similarity > max_similarity:
                 max_similarity = similarity
                 max_similarity_word = unique_words[j]
    file_co_occurring.write(
        unique_words[i] + "\t" + max_similarity_word + "\t" + str(max_similarity) + "\n")

如果您需要对代码进行解释：

• unique_words 是单词列表（字符串）
• global_map 是一个字典，其键是单词（global_map.keys() 包含与 unique_words 相同的元素），值是以下格式的字典：{word: value}，其中单词是 @ 中值的子集987654330@
• 对于每个单词，我会根据其在global_map 中的值查找最相似的单词。我不想将每个相似性都存储在内存中，因为地图已经占用了太多空间。
• calculate_similarity 返回一个从 0 到 1 的值
• 结果应该包含unique_words中每个单词最相似的单词（最相似的单词应该与单词本身不同，这就是我添加条件if not i == j的原因，但是如果我检查max_similarity 是否不同于 1)
• 如果一个词的max_similarity为0，那么如果最相似的词是空字符串就可以了

Answer 1

这是一个适合您的解决方案。我最终更改了很多代码，所以请询问您是否有任何问题。

这远不是实现这一目标的唯一方法，尤其是这不是一种内存效率高的解决方案。

您需要将 max_workers 设置为适合您的值。通常你的机器中逻辑处理器的数量是一个很好的起点。

from concurrent.futures import ThreadPoolExecutor, Future
from itertools import permutations
from collections import namedtuple, defaultdict

Result = namedtuple('Result', ('value', 'word'))

def new_calculate_similarity(word1, word2):
    return Result(
        calculate_similarity(global_map[word1], global_map[word2]),
        word2)

with ThreadPoolExecutor(max_workers=4) as executer:
    futures = defaultdict(list)
    for word1, word2 in permutations(unique_words, r=2):
            futures[word1].append(
                executer.submit(new_calculate_similarity, word1, word2))

    for word in futures:
        # this will block until all calculations have completed for 'word'
        results = map(Future.result, futures[word])
        max_result = max(results, key=lambda r: r.value) 
        print(word, max_result.word, max_result.value, 
            sep='\t', 
            file=file_co_occurring)

以下是我使用的库的文档：

• Futures
• collections
• itertools