解压缩具有可变长度的未知序列化格式

Question

我正在使用 Perl（5.8.8，不要问），我正在查看一个序列化的二进制文件，我想从中解析和窃取信息。

格式如下：

• 7个字节，不知什么意思（DB DB 00 00 7A 03 00）
• 空 (0x00)
• 带有用户ID的7字节字符串
• 空 (0x00)
• 要丢弃的 12 字节字符串
• 空 (0x00)
• 3 字节数字指定要遵循的项目数
• 空 (0x00)
• 第一项的可变长度字符串
• 换行符 (0x0a)
• 第二个项目的可变长度字符串
• 换行符 (0x0a)
• 等等...
• 空 (0x00)
• 带有用户ID的7字节字符串
• 等等...

我当前的代码有点天真地跳过了前 8 个字节，然后逐字节读取，直到它达到空值，然后进行非常具体的解析。

sub readGroupsFile {
    my %index;

    open (my $fh, "<:raw", "groupsfile");
    seek($fh, 8, 0);
    while (read($fh, my $userID, 7)) {
        $index{$userID} = ();
        seek($fh, 18, 1);
        my $groups = "";
        while (read($fh, my $byte, 1)) {
            last if (ord($byte) == 0);
            $groups .= $byte;
        }
        my @grouplist = split("\n", $groups);
        $index{$userID} = \@grouplist;
    }
    close($fh);

    return \%index;
}

好消息？它有效。

但是，我认为它不是很优雅，想知道是否可以使用指定要遵循的项目数量的 2 字节数字来加快解析速度。我不知道为什么它会在那里。

我认为unpack() 及其模板可能会提供答案，但我无法弄清楚它如何处理具有自己可变长度的字符串的可变长度数组。

Answer 1

根据数据描述，有两种方法可以减少硬编码细节的数量；一个读取那些空字节（然后变回换行符），另一个 unpacks 带有 nuls 的行。

将$/ variable 设置为空字节，并读取前4（四）个这样的“行”。您在那里获得您的用户 ID，然后读取的最后一个这样的“行”是后面的项目数。使用普通的readline（又名<>）将$/ 恢复到换行符并读取该列表。重复，如果这种模式确实重复。

use warnings;
use strict;
use feature 'say';

my $file = shift or die "Usage: $0 file\n";  # a_file_with_nuls.txt    
open my $fh, '<', $file or die "Can't open $file: $!"; 

my ($user_id, $num_items);
while (not eof $fh) {    
    READ_BY_NUL: { 
        my $num_of_nul_lines = 4;
        local $/ = "\x00"; 
        my $line;
        for my $i (1..$num_of_nul_lines) { 
            $line = readline $fh;
            chop $line;
            if ($i == 2) {
                $user_id = $line;
            }
        }   
        $num_items = $line;  # last nul-terminated "line"
    }        
    say "Got: user-id = |$user_id|, and number-of-items = |$num_items|";    

    my @items;
    for (1..$num_items) {
        my $line = readline $fh;
        chomp $line;
        push @items, $line;
    }    
    say for @items;
};

由于$/ 是在READ_BY_NUL 块中使用local 设置的，因此其先前的值将恢复到块外。

输出符合预期，但请添加检查。此外，可以想象恢复有意义的错误（例如：项目的实际数量低于给定数量）。

整个事情都在 while 中，使用 eof 进行手动检查（和终止），假设模式 four-nuls + number-of-lines 确实重复（a这个问题有点不清楚）。

我用一个文件测试

perl -wE'say "toss\x00user-id\x00this-too\x003\x00item-1\nitem2\nitem 3"' 
    > a_file_with_nuls.txt

然后将其附加多次，为while 循环提供一些东西。

最后，在需要它的系统上将其设为 <:raw，并在需要时将其设为 unpack。见下文。

---

如问题中所述，（某些？）数据是二进制的，因此上面读取的内容需要upack-ed。这也意味着读取最多空字节可能会出现问题——这些数据最初是如何写入的？这些固定宽度字段的未填充部分可能会被用 nuls 精确填充。

另一种选择是简单地读取行，unpack 第一个（然后在给定的行数之后，unpack 每次读取一行，指定为“项目”）。

open my $fh, '<:raw', $file or die "Can't open $file: $!"; 

my @items;
my $block_lines = 1;

while (my $line = <$fh>) { 
    chomp $line;
    if ( $. % $block_lines == 0 ) {
        my ($uid, $num_items) = unpack "x8 A7x x13 i3x", $line;
        say "User-id: $uid, read $num_items lines for items";
        $block_lines += 1 + $num_items;
    }   
    else {
        push @items, $line;
    }
}
say for @items;

这里要跳过的字节数（x8 和 x13）包括零。

这假设在每个“块”中读取的“项目”（行）的数量可能不同，并将它们相加（加上带有 nuls 的行，总共运行 $block_lines）以便能够检查它何时再次与 nuls ($. % $block_lines == 0) 对齐

它对未指定的事物做出了一些其他（合理的）假设。这只是稍微检查了一下，有一些虚构的数据。

Answer 2

你不知道要读多少，所以一次读入整个文件会让你获得最好的速度结果。

{
   my $file = do { local $/; <> };

   $file =~ s/^.{8}//s
      or die("Bad data");

   while (length($file)) {
      $file =~ s/^([^\0]*)\0[^\0]*\0[^\0]*\0([^\0]*)\0//
         or die("Bad data");

      my $user_id = $1;
      my @items = split(/\n/, $2, -1);
      ...
   }
}

通过使用缓冲区，您可以获得一次读取整个文件的大部分好处，而无需实际一次读取整个文件，但这会使代码更加复杂。

{
   my $buf = '';
   my $not_eof = 1;

   my $reader = sub {
      $not_eof &&= read(\*ARGV, $buf, 1024*1024, length($buf));
      die($!) if !defined($not_eof);
      return $not_eof;
   };

   while ($buf !~ s/^.{8}//s) {
      $reader->()
         or die("Bad data");
   }      

   while (length($buf) || $reader->()) {
      my $user_id;
      my @items;
      while (1) {
         if ($buf =~ s/^([^\0]*)\0[^\0]*\0[^\0]*\0([^\0]*)\0//) {
            $user_id = $1;
            @items = split(/\n/, $2, -1);
            last;
         }

         $reader->()
            or die("Bad data");
      }

      ...
   }
}