需要 Python 多处理和参数传递帮助

Question

您好，我正在尝试运行文档中的多处理示例：http://docs.python.org/3.4/library/concurrent.futures.html，使用素数但差异很小。

我希望能够调用具有多个参数的函数。我正在做的是将小段文本（在大约 30k 长的列表中）匹配到更大的一段文本，并返回较大字符串中较小字符串的开始位置。

我可以像这样连续执行此操作：

matchList = []
for pattern in patterns:

    # Approximate pattern matching
    patternStartingPositions = processPattern(pattern, numMismatchesAllowed, transformedText, charToIndex, countMatrix, firstOccurrence, suffixArray)

    # Now add each starting position found onto our master list.
    for startPos in patternStartingPositions:
        matchList.append(startPos)

但我想这样做是为了加快速度：

matchList = []
with concurrent.futures.ProcessPoolExecutor() as executor:
    for pattern, res in zip(patterns, executor.map(processPattern(pattern, numMismatchesAllowed, transformedText, charToIndex, countMatrix, firstOccurrence, suffixArray), patterns)):
        print('%d is starts at: %s' % (pattern, res))

在这个阶段，我刚刚收到了 print 调用，因为我无法获得上面的行，即进程的调用工作。

我想要做的和示例代码之间唯一真正的区别是我的函数需要 7 个参数，但我不知道该怎么做，花了半天时间。

上面的调用会产生这个错误：

UnboundLocalError：赋值前引用了局部变量“模式”。

这是有道理的。

但是，如果我忽略第一个参数，它会随着每次调用而改变，并忽略 processPattern 函数的第一个参数：

matchList = []
with concurrent.futures.ProcessPoolExecutor() as executor:
    for pattern, res in zip(patterns, executor.map(processPattern(numMismatchesAllowed, transformedText, charToIndex, countMatrix, firstOccurrence, suffixArray), patterns)):
        print('%d is starts at: %s' % (pattern, res))

然后我得到这个错误：

TypeError: processPattern() 缺少 1 个必需的位置参数：'suffixArray'。

我不知道如何在调用中获取pattern 参数！

Answer 1

要将数据转换为正确的形状，只需使用生成器表达式（根本不需要zip）并使用submit 而不是map：

(pattern, executor.submit(processPattern, pattern, ...) for pattern in patterns)

为确保所有内容都在池中执行（而不是立即执行），请不要像在示例中那样调用 processPatterns 函数，而是将其作为第一个参数传递给 .submit。您的代码的固定版本是：

with concurrent.futures.ProcessPoolExecutor() as executor:
    for pattern, res in ((pattern, executor.submit(processPattern, pattern, numMismatchesAllowed, transformedText, charToIndex, countMatrix, firstOccurrence, suffixArray)) for pattern in patterns):
        print('%d is starts at: %s' % (pattern, res.result()))

Answer 2

其他海报已经介绍了可能的解决方案，但为了解释您的错误，您应该将函数和参数作为单独的对象传递给 executor.map。这是文档中的示例

with concurrent.futures.ProcessPoolExecutor() as executor:
    # is_prime is the function, PRIMES are the arguments
    for number, prime in zip(PRIMES, executor.map(is_prime, PRIMES)): 
        print('%d is prime: %s' % (number, prime))

您的代码正在评估processPattern 函数并将结果传递给executor.map

with concurrent.futures.ProcessPoolExecutor() as executor:
    for pattern, res in zip(patterns, executor.map(processPattern(numMis... # <- BAD
        print('%d is starts at: %s' % (pattern, res))

应该是

with concurrent.futures.ProcessPoolExecutor() as executor:
    for pattern, res in zip(patterns, executor.map(processPattern, <stuff>)):
        print('%d is starts at: %s' % (pattern, res))

其中<stuff> 是在每次后续调用时传递给processPattern 的可迭代参数。

或者，看到其他 args 保持不变，创建一个函数，它只接受您正在迭代的一个参数并将 patterns 作为可迭代对象传递（正如 @uhbif19 所建议的那样）

编辑：

要详细说明如何创建 <stuff> 可迭代对象，您需要为函数所需的每个参数提供一个可迭代对象（在本例中为 processPattern）。您已经将 patterns 作为参数一的可迭代对象，如果其他参数不变，则 itertools.repeat 可能会有所帮助：

from itertools import repeat
args = (patterns, 
        repeat(numMismatchesAllowed, len(PATTERNS)),
        repeat(transformedText, len(PATTERNS)),
        repeat(charToIndex, len(PATTERNS)),
        <etc...>
        )

然后

for pattern, res in zip(PATTERNS, executor.map(process, *args)):

为了便于理解，我将其包含在内，但您可以看到这是多么混乱。其他答案提供了更好的解决方案。

编辑 2：

这里有一个例子可以更好地说明 submit vs map 的使用

import concurrent.futures

def process(a, b):
    return a.upper() + b

with concurrent.futures.ProcessPoolExecutor() as executor:
    for c, fut in [(c, executor.submit(process, c, 'b')) for c in 'testing']:
        print(c, fut.result())

with concurrent.futures.ProcessPoolExecutor() as executor:
    for c, res in zip('testing', executor.map(process, 'testing', 'bbbbbbb')):
        print(c, str(res))

Answer 3

Python for-loop 是函数式的行为，不能改变值，就是迭代。

with concurrent.futures.ProcessPoolExecutor() as executor:

    def work(pattern):
        return processPattern(pattern, numMismatchesAllowed, transformedText, charToIndex, countMatrix, firstOccurrence, suffixArray)

    results = executor.map(work, patterns)

    for pattern, res in zip(patterns, results):
        print('%d is starts at: %s' % (pattern, res)) 

事实上，对于不使用 continue 和 break 指令的循环，其工作原理就像一个映射函数。那就是：

for i in something:
    work(i)

相当于

map(work, something)