如何在多处理完成之前存储所有输出？

Question

我想在 python 中运行多进程。 这是一个例子：

def myFunction(name,age):
     output = paste(name,age)
     return output

names = ["A","B","C"]
ages = ["1","2","3"]

with mp.Pool(processes=no_cpus) as pool:
    results = pool.starmap(myFunction,zip(names,ages))

results_table = pd.concat(results)
results_table.to_csv(file,sep="\t",index=False)

myFunction 在实际情况下需要很长时间。有时我必须中断运行并重新开始。然而，results 只会在所有pool.starmap 完成后写入输出文件。如何在完成之前存储中间/缓存结果？ 我不想将 myFunction 从 return 更改为 .to_csv()

谢谢！

Answer 1

不使用map，而是使用方法imap，它返回一个迭代器，当迭代时，每个结果在它们可用时一一给出（即由my_function返回）。但是，结果仍然必须按顺序返回。如果您不关心订单，请使用imap_unordered。

在返回和迭代每个数据帧时，将其转换为 CSV 文件，并根据是否是正在处理的第一个结果，输出带有或不带有标头的文件。

import pandas as pd
import multiprocessing as mp

def paste(name, age):
    return pd.DataFrame([[name, age]], columns=['Name', 'Age'])

def myFunction(t):
    name, age = t # unpack passed tuple
    output = paste(name, age)
    return output

# Required for Windows:
if __name__ == '__main__':
    names = ["A","B","C"]
    ages = ["1","2","3"]

    no_cpus = min(len(names), mp.cpu_count())

    csv_file = 'test.txt'

    with mp.Pool(processes=no_cpus) as pool:
        # Results from imap must be iterated
        for index, result in enumerate(pool.imap(myFunction, zip(names,ages))):
            if index == 0:
                # First return value
                header = True
                open_flags = "w"
            else:
                header = False
                open_flags = "a"
            with open(csv_file, open_flags, newline='') as f:
                result.to_csv(f, sep="\t", index=False, header=header)

test.txt的输出：

Name    Age
A       1
B       2
C       3