Gracefull python joblib kill

Question

是否可以优雅地终止 joblib 进程（线程后端），并且仍然返回到目前为止的计算结果？

parallel = Parallel(n_jobs=4, backend="threading")
result = parallel(delayed(dummy_f)(x) for x in range(100))

目前我想出了两个解决方案

• parallel._aborted = True 等待启动的工作完成（在我的情况下它可能很长）
• parallel._terminate_backend() 如果作业仍在管道中，则挂起（parallel._jobs 不为空）

有没有办法解决这个问题？

Answer 1

据我所知，Joblib 不提供杀死生成线程的方法。 由于每个子线程都在自己的上下文中运行，因此实际上很难执行优雅的终止或终止。 话虽如此，有一个可以采用的解决方法。

模仿.join()（线程）功能（一种）：

1. 创建一个共享内存shared_dict，其键对应每个线程ID，值是否包含线程输出或异常，例如：

   shared_dict = {i: None for i in range(num_workers)}

2. 当任何线程中出现错误时，通过处理程序捕获异常，而不是立即引发异常，而是将其存储在共享内存标志中

3. 创建一个等待all(shared_dict.values())的异常处理程序

4. 在所有值都填充了结果或错误后，通过引发错误或记录或其他方式退出程序。