使用 mpi4py 并行化函数调用

Question

我想使用 mpi4py 来并行化优化问题。为了最小化我的功能，我使用了 scipy 中的最小化例程

from scipy.optimize import minimize

def f(x, data) :
    #returns f(x)
x = minimize(f, x0, args=(data))

现在，如果我想使用 mpi4py 并行化我的函数。最小化算法的实现是顺序的，只能在一个进程上运行，所以只有我的函数是并行化的，这不是问题，因为函数调用是最耗时的步骤。但我不知道如何使用并行和顺序部分来实现这个问题。

这是我的尝试：

from scipy.optimize import minimize
from mpi4py import MPI

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

N = 100 # for testing
step = N//size # say that N is divisible by size
def mpi_f(x, data) :
    x0 = x[rank*step:(rank+1)*step]
    res = f(x0, data)
    res = comm.gather(res, root=0)
    if rank == 0 :
        return res

if rank == 0 :
   x = np.zeros(N)
   xs = minimize(mpi_f, x, args=(data))

这显然是行不通的，因为 mpi_f 只在进程 0 上运行。所以我问我应该如何进行？

谢谢。

Answer 1

在您的代码中，根进程是唯一调用comm.gather() 的进程，因为根进程是唯一调用并行化成本函数的进程。因此，程序面临死锁。你很清楚这个问题。

为了克服这个死锁，其他进程必须调用成本函数，只要minimize 需要它。由于事先不知道此调用次数，因此while 循环似乎适合这些进程。

需要定义while循环的停止条件。该标志将从根进程广播到所有进程，因为根进程是唯一知道minimize() 函数结束这一事实的进程。广播必须在成本函数中执行，因为所有进程都必须在每次迭代中测试最小化函数的结束。由于minimize利用了函数的返回值，所以标志为passed by reference via a mutable type

最后，这是解决您的问题的潜在方法。它由mpirun -np 4 python main.py 运行。我使用 fmin() 而不是 minimize() 因为我的 scipy 版本已经过时了。

#from scipy.optimize import minimize
from scipy.optimize import fmin
from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

N = 100 # for testing
step = N//size # say that N is divisible by size

def parallel_function_caller(x,stopp):
    stopp[0]=comm.bcast(stopp[0], root=0)
    summ=0
    if stopp[0]==0:
        #your function here in parallel
        x=comm.bcast(x, root=0)
        array= np.arange(x[0]-N/2.+rank*step-42,x[0]-N/2.+(rank+1)*step-42,1.)
        summl=np.sum(np.square(array))
        summ=comm.reduce(summl,op=MPI.SUM, root=0)
        if rank==0:
            print "value is "+str(summ)
    return summ

if rank == 0 :
   stop=[0]
   x = np.zeros(1)
   x[0]=20
   #xs = minimize(parallel_function_caller, x, args=(stop))
   xs = fmin(parallel_function_caller,x0= x, args=(stop,))
   print "the argmin is "+str(xs)
   stop=[1]
   parallel_function_caller(x,stop)

else :
   stop=[0]
   x=np.zeros(1)
   while stop[0]==0:
      parallel_function_caller(x,stop)