Python中耗时的集合处理

Question

代码已经大大简化，但应该可以用来说明我的问题。

S = ('A1RT', 'BDF7', 'CP09')
for s in S:
    if is_valid(s): # very slow!
        process(s)

我有一个从网站抓取中获得的字符串集合。 （字符串将定期从站点抓取中检索。）这些字符串中的每一个都需要通过网络针对第三方进行验证。验证过程有时会很慢，这是有问题的。由于上述代码的迭代性质，可能需要一些时间才能验证和处理最后一个字符串。

是否有适当的方法在 Python 中并行化上述逻辑？坦率地说，我对并发/并行处理概念不是很熟悉，但在这种情况下它们似乎很有用。想法？

Answer 1

concurrent.futures 模块是解决“令人尴尬的并行”问题的好方法，并且可以很容易地在使用多个进程或单个进程中的多个线程之间切换。

在您的情况下，听起来“艰苦的工作”正在网络上的其他机器上完成，您的主程序将花费大部分时间等待它们提供结果。如果是这样，线程应该可以正常工作。这是一个完整的可执行玩具示例：

import concurrent.futures as cf

def is_valid(s):
    import random
    import time
    time.sleep(random.random() * 10)
    return random.choice([False, True])

NUM_WORKERS = 10  # number of threads you want to run

strings = list("abcdefghijklmnopqrstuvwxyz")

with cf.ThreadPoolExecutor(max_workers=NUM_WORKERS) as executor:
    # map a future object to the string passed to is_valid
    futures = {executor.submit(is_valid, s): s for s in strings}
    # `as_complete()` returns results in the order threads
    # complete work, _not_ necessarily in the order the work
    # was passed out
    for future in cf.as_completed(futures):
        result = future.result()
        print(futures[future], result)

这是一次运行的示例输出：

g False
i True
j True
b True
f True
e True
k False
h True
c True
l False
m False
a False
s False
v True
q True
p True
d True
n False
t False
z True
o True
y False
r False
w False
u True
x False

concurrent.futures 处理所有令人头疼的问题：启动线程、分配工作让它们完成，以及注意线程何时交付结果。

如上所述，最多可以同时激活 10 个 (NUM_WORKERS) is_valid() 调用。 as_completed() 在其结果准备好检索时立即返回一个未来对象，executor 自动将计算结果的线程交给另一个字符串供is_valid() 细嚼慢咽。