读取 fortran 直接访问数据和写入格式化数据 - 使用 python 比使用 fortran 更快？

Question

晚上好，

我有一个用 Fortran 编写的模拟，它会生成大量未格式化（直接访问）数据的文件。 从其中一些文件中，我想生成 ascii 人类可读的文件。

出于某种原因（在 python 中）：

f = open(filename,'rb')
for i in xrange(0,N):
    pos = i * 64
    f.seek(pos)
    name = struct.unpack('ffff',f.read(16))
    print name[0],name[1],name[2],name[3]

只需要大约 4 秒（将输出通过管道传输到 shell 上的文件中），而这（在 Fortran 中）

 open (1,file=inputfile,access='direct',recl=64, action='read',status="OLD")
 open (2, file=outputfile, access="sequential", action="write",status="REPLACE")
 do i=1,(N)
     read(1, rec = i ) a,b,c,d
     write(2,*) a,b,c,d
 enddo

大约需要 20 秒。 我究竟做错了什么？在 Fortran 中有更快的方法吗？

最好的问候！ 回复

Answer 1

免责声明：我不知道，如果这能解决问题，但我知道，我可以得到高达 20 倍的时差。我也只测试了数据并没有读取它。

---

我正在研究 Fortran 与 python 的交互，因此想知道 Fortran 的二进制文件是如何构建的。在执行此操作时，我注意到 ifort 和 gfortran 都可以选择打开或关闭缓冲 IO。

ifort：您可以在打开文件时指定关键字BUFFERED=['YES'|'NO']。

gfortran：您可以将环境变量 GFORTRAN_UNBUFFERED_ALL 设置为 y|Y|1 或 n|N|0，分别用于非缓冲和缓冲 IO。

请注意，gfortran 默认会缓冲 IO，而 ifort 不会。

我在底部的示例代码导致以下时间：

        |buffered|unbuffered
--------+--------+----------
ifort   |   1.9s |  18.2s
gfortran|   2.4s |  37.5s

---

此示例代码编写了一个直接访问二进制文件，其中包含 10M 数据集，每个数据集 12 字节。

PROGRAM btest
IMPLICIT NONE

INTEGER :: i

! IFORT
OPEN(11,FILE="test_d.bin",ACCESS="DIRECT",FORM="UNFORMATTED",RECL=3, &
& STATUS="REPLACE",BUFFERED="NO") ! ifort defines RECL as words
! GFORTRAN
!OPEN(11,FILE="test_d.bin",ACCESS="DIRECT",FORM="UNFORMATTED",RECL=12, &
!& STATUS="REPLACE") ! gfortran defines RECL as bytes

DO i = 1, 10000000
    WRITE(11,REC=i) i,i*1._8
END DO

CLOSE(11)

END PROGRAM

Answer 2

尝试使用 StreamIO 参见http://www.star.le.ac.uk/~cgp/streamIO.html 这应该允许在没有固定记录大小的情况下进行随机访问，并且可能会导致使用相同的底层操作系统。系统调用，从而有望获得相同的性能。