基于字符串拆分二进制文件

Question

我有 170 个 1GB 的二进制文件，每当我找到特定的 ASCII 字符串时，我都想在其中拆分它们。其中一些字符串也有换行符。

csplit 似乎是完成这项任务的完美工具，但它似乎不适用于二进制文件。

问题

如果我将搜索字符串转换为十六进制/二进制，这是否会使问题更容易解决，所以它是二进制数据中的二进制搜索？

如果不是，我如何根据 ASCII 字符串拆分二进制文件，其中一些字符串有换行符？

Answer 1

二进制文件并没有什么特别之处，只是它们通常包含不会出现在文本文件中的数据，而且当您打印它们时它们看起来不太好看。它们仍然是必须理解的八位位组序列，大多数体面的语言都可以做到这一点。

举个例子可能会有所帮助。

您没有描述要用作分隔符的字符串，也没有说明读取每个块后要对它做什么，因此这里有一个读取 1GB 原始文件的 Perl 程序以specific ASCII string 结尾的块中的文件，并一次将它们写入一个新文件。所以它相当笨拙地复制文件。

use strict;
use warnings;

open my $fh, '<:raw', '1GBfile' or die $!;
local $/ = 'specific ASCII string';

open my $out_fh, '>:raw', 'new1GBfile' or die $!;
select $out_fh;

print while <$fh>;

close $out_fh or die $!;

根据您对文件中数据的处理方式，您可能会发现File::Map 很有用

Answer 2

您可以将输入记录分隔符$/ 更改为您要拆分的特定搜索字符串（默认情况下，它是换行符）。然后在读取输入文件时，将每条记录打印到一个新的唯一文件中：

#!/usr/bin/perl

use strict;
use warnings;

# change the input record separator to whatever string you want
$/ = "SOME STRING";

my $file_num = 0;
while (my $data = <>) {
  chomp $data; # remove input record separator
  my $file = "file." . ++$file_num;
  open my $fh, '>', $file or die "can't open file: $file: $!\n";
  print $fh $data;
  close $fh;
}