Python 多处理提前终止

Question

在我的脚本运行时，可能会在某些时候发生错误。在这种情况下，应正确终止所有进程，返回错误消息，并退出脚本。

我现在的代码似乎还不能满足这些要求。发生错误时，将其发送到report_error()，脚本最终挂在终端中，活动监视器显示许多 Python 进程仍在运行。

环境

• Mac OS X 10.8.5
• Python 3.3.3

从脚本中的任何一点终止所有进程的正确方法是什么？

#!/usr/bin/env python3
# -*- coding: utf-8 -*-


import sys
from multiprocessing import Pool


# Global variables.

input_files = [
    'test_data_0.csv',
    'test_data_1.csv'
]


def report_error(error):

    # Reports errors then exits script.
    print("Error: {0}".format(error), file=sys.stderr)
    sys.exit(1)

    # What I really want is to report the error, properly terminate all processes,
    # and then exit the script.


def read_file(file):

    try:
        # Read file into list.
    except Exception as error:
        report_error(error)


def check_file(file):

    # Do some error checking on file.
    if error:
        report_error(error)


def job(file):

    # Executed on each item in input_files.

    check_file(file)
    read_file(file)


def main():

    # Sets up a process pool. Defaults to number of cores.
    # Each input gets passed to job and processed in a separate process.
    p = Pool()
    p.map(job, input_files)

    # Closing and joining a pool is important to ensure all resources are freed properly.
    p.close()
    p.join()


if __name__ == '__main__':
    main()

Answer 1

首先，使用sys.exit() 杀死子工作进程实际上会破坏池，并使map 命令永远挂起。目前multiprocessing 无法在工作进程处理作业时从工作进程崩溃中正确恢复（有一个错误报告，其中包含解决此问题的补丁here，值得一提）。

有几种方法可以让你真正做你想做的事。由于您似乎不关心从工作函数返回的值，因此最简单的方法是使用imap_unordered 而不是map，在出现故障时从工作人员那里引发异常，然后简单地迭代imap_unordered返回的迭代器：

def report_error(error):

    # Reports errors then exits script.
    print("Error: {0}".format(error), file=sys.stderr)
    raise error # Raise the exception

...

def main():
    p = Pool()
    try:
        list(p.imap_unordered(job, input_files))
    except Exception:
        print("a worker failed, aborting...")
        p.close()
        p.terminate()
    else:
        p.close()
        p.join()

if __name__ == '__main__':
    main()

使用imap_unordered，结果将在子节点发送后立即返回给父节点。因此，如果子进程将异常发送回父进程，它将立即在父进程中重新引发。我们捕获该异常，打印一条消息，然后终止池。