Python过滤具有多处理的大规模迭代器

Question

这是我在使用多处理之前的代码。获取大量迭代器中满足指定条件的项目数是一项任务：

from itertools import permutations

def f(input_):
    if 'AB' in ''.join(input_):
        return True
    else：
        return False

if __name__ == "__main__":
    iterator = permutations(['A', 'B',...])
    count = 0
    for item in iterator:  # it is an itertools.permutations object, with str inside
        if f(item):
            count += 1
    print(count)

但是迭代器太大了，我需要做多处理或多线程（不确定哪个更好）来加快进程。

我参考了很多关于 Python 中多任务的在线参考资料，并尝试了几种方法。不幸的是，我仍然找不到解决方案，因为我尝试的每种方法都有一些问题。 例如：

from multiprocessing import Pool

def f(input_):
    if 'AB' in ''.join(input_):
        return True
    else：
        return False

if __name__ == "__main__":
    pool = Pool()
    result = pool.imap_unordered(f, iterator)
    print(sum(result))

在这个例子中，问题是这段代码的运行速度比我原来的还要慢。我也尝试过使用 pool.map()，但它也比以前慢了，而且它耗尽了我所有的内存。

我应该如何使用我所有的 CPU 能力尽可能快地完成这个过滤任务？多处理和多线程真的让我很困惑。 :(

Answer 1

与itertools.permutations 相比，多处理具有巨大的开销。同时，几乎所有与排列有关的问题都可以使用简单的阶乘来解决。

你的“巨大”迭代器可以写成

data = ['A', 'B', 'C', ...]
pattern = ('A', 'B')
sum(pattern in x for x in permutations(data))

话虽如此，有factorial(len(data)) 可能的总排列。如果data没有重复，那么除了pattern和len(data) - len(pattern) + 1可以存在pattern的地方之外，还有factorial(len(data) - len(pattern))可能的项目安排。

从 python 3.8 开始，您可以这样做

from math import prod

count = prod(range(2, len(data) - len(pattern) + 2))

对于以前的版本，您必须这样做

from functools import reduce
from operator import mul

count = reduce(mul, range(2, len(data) - len(pattern) + 2), 1)

对于data 的重复出现在pattern 中的情况，您可以在 Google 上搜索“有多少排列将包含特定序列”之类的内容，以帮助您找出分析公式。