读取、处理连续二进制文件 - 高效

Question

我有非常大的二进制文件，没有行和字段分隔符。目标是高效地将这些文件处理成制表符分隔的文件。

文件结构如下：

每条记录都是固定长度，20 字节。每个字段的长度不同，三个字段的长度分别为 3、7 和 10 个字节。每个字段也代表不同的数据类型，字段 1 和 2 是 int，3 是 char。

处理这些文件最有效的方法是什么？我想让它尽可能简单，使用 Bash 工具，dd/od sed/awk，如果可能的话避免使用 perl/python，除非性能差异很大。

下面是一个工作尝试，它很慢。我是上述工具的新手，非常感谢详细的解释。

binfile="binfile.BIN"

for (( i = 0 ; i <= 20000000 ; i += 20 ))
do
    field1=$( od "${binfile}" -An --skip-bytes"$((${i}))" --read-bytes=3 --format=dI )
    field2=$( od "${binfile}" -An --skip-bytes"$((${i}+3))" --read-bytes=7 --format=dI )
    field3=$( od "${binfile}" -An --skip-bytes"$((${i}+10))" --read-bytes=10 --format=c )

    echo - ${field1}'\t'${field2}'\t'${field3} >> output.tab
done

Answer 1

从 STDIN 读取，输出到 STDOUT，并执行错误检查：

#!/usr/bin/perl

use strict;
use warnings;

use constant BLOCK_SIZE => 20;

binmode STDIN;    

while (1) {
    my $rv = read(STDIN, my $buf, BLOCK_SIZE);
    die("Error: $!\n") if !defined($rv);
    last if !$rv;
    die("Error: Insufficient data\n") if $rv != BLOCK_SIZE;
    print(join("\t", unpack('a3 a7 a10', $buf)), "\n");
}

但我很确定你会发现这比一次阅读更多内容要慢，所以我会使用以下内容：

#!/usr/bin/perl

use strict;
use warnings;

use constant BLOCK_SIZE => 20;

binmode STDIN;    

my $buf;    
while (1) {
    my $rv = sysread(STDIN, $buf, BLOCK_SIZE*64*1024, length($buf));
    die("Error: $!\n") if !defined($rv);
    last if !$rv;

    while (length($buf) >= BLOCK_SIZE) {
       print(join("\t", unpack('a3 a7 a10', substr($buf, 0, BLOCK_SIZE, '')), "\n");
    }
}

die("Error: Insufficient data\n") if length($buf);

Answer 2

fold -b -w 20 | cut --output-delimiter $'\t' -b 1-3,4-10,11-20

如果您的“cut”不支持 --output-delimiter，请尝试“gcut”（GNU cut）或考虑安装 GNU coreutils。

（请告诉我们您尝试的不同解决方案的速度有多快 :-)

Answer 3

open my $fh, '<:raw', shift;

local $" = "\t";

while ( read $fh, my $rec, 20 ) {
    my @f = unpack 'a3 a7 a10', $rec;
    print "@f\n";
}