追溯关闭使用 Fortran 创建的 NetCDF 文件

Question

我正在运行一个分布式模型，在下面被剥离到最低限度：

integer, parameter :: &
nx = 1200,& ! Number of columns in grid
ny = 1200,& ! Number of rows in grid
nt = 6000   ! Number of timesteps

integer :: it ! Loop counter

real :: var1(nx,ny), var2(nx,ny), var3(nx,ny), etc(nx,ny) 

! Create netcdf to write model output
call check( nf90_create(path="out.nc",cmode=nf90_clobber, ncid=nc_out_id) )

! Loop over time
do it = 1,nt

   ! Calculate a lot of variables 
   ...

   ! Write some variables in out.nc at each timestep
   CALL check( nf90_put_var(ncid=nc_out_id, varid=var1_varid, values=var1, &
    start = (/ 1, 1, it /), count = (/ nx, ny, 1 /)) )

   ! Close the netcdf otherwise it is not readable: 
   if (it == nt)  call check( nf90_close(nc_out_id) )

enddo

我处于模型的开发阶段，所以它不可避免地会在意想不到的点崩溃（通常在Calculate a lot of variables阶段），这意味着，如果模型在时间步it =3000崩溃，将写入2999个时间步到 netcdf 输出文件，但我将无法读取该文件，因为该文件尚未关闭。尽管如此，数据已经写入：我目前有一个无法读取的 2GB out.nc 文件。当我ncdump它显示的文件时

netcdf out.nc {
dimensions:
         x = 1400 ;
         y = 1200 ;
         time = UNLIMITED ; // (0 currently)
variables:
         float var1 (time, y, x) ;
data:
}

我的问题是：(1) 有没有办法追溯关闭文件，即使在 Fortran 之外，也能读取已经写入的数据？ (2) 或者，是否有另一种在 Fortran 中写入文件的方法，即使不关闭文件也可以使文件可读？

Answer 1

当nf90_close 被调用时，缓冲的输出被写入磁盘并且文件ID 被放弃以便它可以被重用。问题很可能是由于程序因崩溃而终止时没有将缓冲输出写入磁盘，这意味着文件中仅存在您在“定义模式”中所做的更改（如 ncdump 所示）。

因此，您需要更频繁地将数据写入磁盘。有三种方法可以做到这一点（据我所知）。

• nf90_sync - 调用时将缓冲数据同步到磁盘。这使您可以最大程度地控制何时输出数据（例如，每个循环步骤或每 n 个循环步骤），这可以让您针对速度与稳健性进行优化，但会为您带来更多的编程和检查开销。
• 感谢@RussF 提出这个想法。 使用nf90_share 标志创建或打开文件。如果 netCDF 文件打算由多个读取器/写入器同时使用，这是推荐的方法。它本质上与nf90_sync 用于写入数据的自动实现相同。它提供了更少的控制，但也减少了编程开销。注意：

  这仅适用于 netCDF-3 经典或 64 位偏移文件。

• 最后，我不推荐一个选项，但为了完整性（我猜在某些情况下这是最好的选项，虽然没有想到） - 关闭并重新打开文件。我不建议这样做，因为它会减慢您的程序，并增加导致错误的可能性。