如何使用多线程/多处理代替带有熊猫数据框的 For 循环

Question

目前，我在一个项目中，根据行数据框中提供的数据执行验证，所以我目前的方法是执行验证的顺序方法。

for index in mt.index():
    #File Reading 
    #performing validation

但我想实现多线程/多处理以提高我在当前方法中的处理时间，这将花费比预期更多的时间。 任何人都可以建议或帮助我如何实现增强我的脚本性能的多线程/多处理。

Answer 1

您可以使用 Pool API：

from multiprocessing import Pool

p = Pool()

def validate(index):
   ## do validation work for a given index here

result = p.map(validate, mt.index())

map 函数将在mt.index() 的值上并行化循环。查看these docs 了解更多选项。