Fortran 中的 MPI 发送接收问题

Question

我目前开始为科学应用开发并行代码。我必须从 p0 到 p1 以及从 p1 到 p0 交换一些缓冲区（我正在处理器边界之间创建幽灵点）。

这个示例代码可以总结错误：

program test
use mpi
implicit none

integer id, ids, idr, ierr, tag, istat(MPI_STATUS_SIZE)
real sbuf, rbuf

call mpi_init(ierr)

call MPI_COMM_RANK(MPI_COMM_WORLD,id,ierr)

if(id.eq.0) then
ids=0
idr=1
sbuf=1.5
tag=id
else    
ids=1
idr=0
sbuf=3.5
tag=id
endif

call mpi_send(sbuf,1,MPI_REAL,ids,tag,MPI_COMM_WORLD,ierr)

call mpi_recv(rbuf,1,MPI_REAL,idr,tag,MPI_COMM_WORLD,istat,ierr)

call mpi_finalize(ierr)
return
end

这有什么问题？

Answer 1

一开始使用 MPI 进行编码可能会很困难，您最好完成编写示例代码的步骤。您发布的示例代码由于死锁而挂起。两个进程都忙于MPI_SEND-ing，并且在MPI_RECV-ed 之前发送无法完成。所以代码卡住了。

解决这个问题有两种常见的方法。

按特定顺序发送和接收

这是简单易懂的解决方案。对您的发送和接收操作进行编码，这样没有人会被卡住。对于您的 2 进程测试用例，您可以这样做：

if (id==0) then

   call mpi_send(sbuf,1,MPI_REAL,ids,tag,MPI_COMM_WORLD,ierr)
   call mpi_recv(rbuf,1,MPI_REAL,idr,tag,MPI_COMM_WORLD,istat,ierr)
else
   call mpi_recv(rbuf,1,MPI_REAL,idr,tag,MPI_COMM_WORLD,istat,ierr)
   call mpi_send(sbuf,1,MPI_REAL,ids,tag,MPI_COMM_WORLD,ierr)
endif

现在，进程 1 接收 first，因此永远不会出现死锁。这个特定的例子是不可扩展的，但有各种循环结构可以提供帮助。您可以想象一个例程将数据从每个进程发送到每个其他进程：

do sending_process=1,nproc
   if (id == sending_process) then
      ! -- I am sending
      do destination_process = 1,nproc
         if (sending_process == destination_process) cycle
         call MPI_SEND ! Send to destination_process
      enddo
    elseif
       ! -- I am receiving
       call MPI_RECV ! Receive from sending_process
    endif
 enddo

这工作得相当好并且很容易理解。我向初学者推荐这种结构。

但是，对于真正的大问题，它有几个问题。您发送的消息数量等于进程数平方，这可能会使大型网络过载。此外，根据您的操作，您可能不需要将数据从每个进程发送到每个其他进程。 （鉴于您提到了幽灵，我怀疑这对您来说是正确的。）您可以修改上述循环以仅在需要数据时发送，但对于这些情况，有更好的选择。

使用非阻塞 MPI 操作

对于多核问题，这通常是最佳解决方案。我建议坚持简单的MPI_ISEND 和MPI_IRECV。在这里，您开始所有必要的发送和接收，然后等待。 在这里，我使用了一些已经设置好的列表结构，它定义了每个进程所需目的地的完整列表。

! -- Open sends
do d=1,Number_Destinations
   idest = Destination_List(d)

   call MPI_ISEND ! To destination d
enddo

! -- Open receives
do s=1,Number_Senders
   isend = Senders_List(s)
   call MPI_IRECV ! From source s
enddo

call MPI_WAITALL

此选项可能看起来更简单，但它不是。您必须事先设置所有必要的列表，并且缓冲区大小和数据对齐存在各种潜在问题。尽管如此，它通常是 big 代码的最佳答案。

Answer 2

正如 Vladimir 所指出的，您的代码太不完整，无法提供明确的答案。

话虽如此，这可能是一个众所周知的错误。

MPI_Send() 可能会阻塞。从务实的角度来看，MPI_Send() 在发送 short 消息时可能会立即返回，但在发送 large 消息时可能会阻塞。注意 small 和 large 取决于您的 MPI 库、您使用的互连以及其他运行时参数。 MPI_Send() 可能会阻塞，直到在另一端发布 MPI_Recv()。

您的MPI_Send() 和MPI_Recv() 似乎在同一个代码块中，因此您可以尝试使用MPI_Sendrecv() 一次性完成。 MPI_Sendrecv() 将在后台发出非阻塞发送，因此如果您的问题确实是 MPI_Send() 死锁，这将有所帮助。