在 Fortran 中使用 MPI I/O 读取未格式化的流二进制文件

Question

我有一个大小约为 60GB 的未格式化流二进制文件，我在串行代码中读取如下；

   parameter(nsea=120445)
   real*4 p(nsea,nsea)
   open(10,file='my_file.grd'  &
   & ,status='old',access='stream',form='unformatted')
   read(10)((p(ibk,jbk),jbk=1,nsea),ibk=1,nsea)
   close(10)

由于读取此文件需要大量时间，我想使用 MPI I/O 并行化这部分代码。我正在尝试使用mpi_file_set_view 和mpi_file_read 选项来做到这一点。有人可以指导我有效地做到这一点吗？ 在读取并存储参数p(nsea,nsea) 之后，我想在其余代码中传递整个数组以进行一些矩阵运算。

Answer 1

我在我的电脑上尝试了一个简单的示例代码复制器，它具有 32 GB 内存，用于 27 Gb 测试文件。用“gFortran stream.f90 -o stream.exe”编译，跑了320秒，是不是单线程太慢了？ （由于磁盘缓冲，这种测试方法可能会出现问题，但当文件大小 + 内存需求超过安装的内存时应该不会出现问题） 您可能希望通过包含更多错误测试（stat=、iostat=）来扩展我在下面列出的方法。

! Program to test stream I/O for large file
!
   integer*8 :: nsea = 85000 ! 40000 > 6gb ! 85000 > 27gb ! 120445 > 54 gb
   real*4, allocatable :: p(:,:)
!
   integer*8 :: ibk,jbk, nij
   integer*4 :: i,j, stat
   real*4    :: err, gb
   real*8    :: sec, start
!
! Create file
    call Elapse_Time (start)
    call Delta_Time (sec)
   allocate ( p(nsea,nsea), stat=stat )
   nij = size( p, kind=8 )
   gb  = nij ; gb = gb * 4. / (1024.**3)
   write (*,21) 'size p = ',size( p, kind=8 ), gb,' Gb : stat= ',stat
!
   forall (i=1:nsea,j=1:nsea) P(i,j) = i+j
    call Delta_Time (sec)
    write (*,22) sec,' initialised'
!
   open (unit=11, file='test_file.grd', iostat=stat, &
         status='unknown', access='stream', form='unformatted')
    call Delta_Time (sec)
    write (*,22) sec, ' open : iostat= ',stat
!
   write (11,iostat=stat) (( p(ibk,jbk), ibk=1,nsea), jbk=1,nsea)
   close (11)
   deallocate (p)
    call Delta_Time (sec)
    write (*,22) sec, ' written : iostat= ',stat
!
! Read file
   allocate ( p(nsea,nsea), stat=stat )
   write (*,21) 'size p = ',size( p, kind=8 ), gb,' Gb : stat= ',stat
!
   open (unit=12, file='test_file.grd', iostat=stat,  &
         status='unknown', access='stream', form='unformatted')
    call Delta_Time (sec)
    write (*,22) sec, ' open : iostat= ',stat
!
   read (12,iostat=stat) (( p(ibk,jbk), ibk=1,nsea), jbk=1,nsea)
   close (12)
    call Delta_Time (sec)
    write (*,22) sec,' read : iostat= ',stat
!
   err = 0
   do j=1,nsea
     do i=1,nsea
       err = max ( err, P(i,j)-i-j )
     end do
   end do
   deallocate (p)
    call Delta_Time (sec)
    write (*,23) sec, ' err= ', err
!
   call Elapse_Time (sec)
   write (*,22) sec-start, ' Completed '
!
 21 format (a,i0,' : ',f0.2,a,i0)
 22 format (f9.3,a,i0)
 23 format (f9.3,a,es10.2)
  end
!
  subroutine Elapse_Time (sec)
    real*8    sec
    integer*8 clock, rate
!
    call System_Clock ( clock, rate )
    sec = dble (clock) / dble (rate)
  end subroutine Elapse_Time
!
  subroutine Delta_Time (dt)
    real*8 :: dt, sec
    real*8 :: last = 0
!
    call Elapse_Time (sec)
    dt   = sec - last
    last = sec
  end subroutine Delta_Time

我在 3 台电脑上测试了此代码，其中 2 台使用 SSD。 i5 有 Win 7 8Gb 内存，而 i7 有 Win 10 32Gb 内存。下表列出了我获得的性能。文件大小约为 85% 的内存，因此磁盘缓冲不应该很重要。结果可能是可变的。 SSD 性能低于预期让我感到惊讶，而 i7 HDD 性能却好于预期？

Disk           File Gb write sec  read sec write Mb/s  read Mb/s
i5-2300  C:HDD     4.6      42.1      58.9      108.3       77.5
i7-4790K E:HDD    26.9     175.0     168.7      153.8      159.6
i7-4790K C:SSD    26.9     154.7     106.4      174.0      252.9
i7-8700K E:HDD    26.9     141.8     132.7      189.8      202.8
i7-8700K C:SSD    26.9     116.9      97.5      230.2      276.0

我希望这些结果能够说明串行流 I/O 可以实现什么。不确定在这些情况下预期的 MPI I/O 速率是多少？