写入 /dev/null 时记录结束答案

【问题标题】：End of record when writing to /dev/null写入 /dev/null 时记录结束
【发布时间】：2021-07-26 14:27:45
【问题描述】：

在我们的数值软件中，我在升级集群后遇到了一个奇怪的错误。即是：

At line 501 of file /home/weser/code/neci/src/fcimc_helper.F90 (unit = 6, file = '/dev/null')
Fortran runtime error: End of record

在这一行中有一个print *, 语句打印到标准输出。

在我们的程序中，所有非根 MPI 进程的 STDOUT 都关闭并重新打开以写入 /dev/null。（除 Debug 模式外，每个非根 MPI 进程的 STDOUT 都被重定向到一个单独的文件。）

我尝试为这个问题创建一个最小的示例，如下所示：

  program stdout_to_dev_null
      use iso_fortran_env, only: stdout => output_unit
      use mpi_f08  ! also works with plain mpi
      implicit none(type, external)
  
      integer :: rank, n_procs, ierror
      integer, parameter :: root = 0 
  
      call MPI_INIT(ierror)
      call MPI_COMM_SIZE(MPI_COMM_WORLD, n_procs, ierror)
      call MPI_COMM_RANK(MPI_COMM_WORLD, rank, ierror)
  
      if (rank /= root) then
          close(stdout, status="keep")
          open(stdout, file="/dev/null", recl=8192)
      end if
  
      write(stdout, *) 'Size is ', n_procs
      write(stdout, *) 'node', rank, ': Hello world'
  
      block
          integer :: i
          character(:), allocatable :: large_string
          allocate(character(len=5000) :: large_string)
  
          do i = 1, len(large_string)
              large_string(i : i) = 'A' 
          end do
  
          write(stdout, *) large_string
      end block
  
  
      call MPI_FINALIZE(ierror)
  
  end program

问题在于，这个最小示例完全按预期工作，当使用 mpirun 手动运行时，以及像其他繁重计算一样实际发送到集群时。

现在我有三个问题：在关闭和重新打开 STDOUT 时，我在此类代码中是否有未定义的行为，而我在最小的示例中只是幸运？ /dev/null 中怎么会有记录结束？如何正确解决此问题？

【问题讨论】：

标签： fortran gfortran openmpi dev-null

【解决方案1】：

问题与 MPI 无关，也与集群的差异无关。¹ 这是有问题的代码，在gfortran 下失败，但在ifort 下工作，纯属运气。

如果以固定记录长度 (recl=...) 打开文件，则写入语句不得超过此长度，即使输出转到 /dev/null。解决方法是不使用固定的记录长度打开并省略 recl=... 参数。

显然ifort的运行时库更宽松，即使写入对象的字节长度大于open语句中指定的记录长度。

在以下示例中，最后一个 write 语句在 gfortran 下失败。

program stdout_to_dev_null
    use iso_fortran_env, only: stdout => output_unit
    implicit none(type, external)

    integer, parameter :: rec_length = 10

    write(stdout, *) 'asdf'

    close(stdout, status="keep")

    open(stdout, file="/dev/null")
    block
        integer :: i
        character(:), allocatable :: large_string

        allocate(character(len=rec_length - 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        write(stdout, *) large_string

        deallocate(large_string)
        allocate(character(len=rec_length + 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        write(stdout, *) large_string
    end block
    close(stdout, status="keep")

    open(stdout, file="/dev/null", recl=rec_length)
    block
        integer :: i
        character(:), allocatable :: large_string

        allocate(character(len=rec_length - 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        write(stdout, *) large_string

        deallocate(large_string)
        allocate(character(len=rec_length + 1) :: large_string)

        do i = 1, len(large_string)
            large_string(i : i) = 'A'
        end do

        ! The following statement fails
        write(stdout, *) large_string
    end block
    close(stdout, status="keep")

end program

¹对于这个问题，新旧集群之间的相关区别在于我们在新集群上使用gfortran + OpenMPI，在旧集群上使用ifort + IntelMPI。

【讨论】：