perl中非常大的关联数组

Question

我需要将两个文件合并成一个新文件。

两者有超过 3 亿条管道分隔的记录，第一列作为主键。行未排序。第二个文件可能有第一个文件没有的记录。

示例文件 1：

1001234|X15X1211,J,S,12,15,100.05

示例文件 2：

1231112|AJ32,,,18,JP     
1001234|AJ15,,,16,PP

输出：

1001234,X15X1211,J,S,12,15,100.05,AJ15,,,16,PP

我正在使用以下代码：

tie %hash_REP, 'Tie::File::AsHash', 'rep.in', split => '\|'
my $counter=0;
while (($key,$val) = each %hash_REP) {
    if($counter==0) {
        print strftime "%a %b %e %H:%M:%S %Y", localtime;
    }
}

准备关联数组需要将近 1 个小时。 它真的很好还是真的很糟糕？ 有没有更快的方法来处理关联数组中如此大小的记录？ 任何脚本语言的任何建议都会有帮助。

谢谢， 尼丁T。

我也尝试了以下程序，也花了 1+ 小时如下：

#!/usr/bin/perl
use POSIX qw(strftime);
my $now_string = strftime "%a %b %e %H:%M:%S %Y", localtime;
print $now_string . "\n";

my %hash;
open FILE, "APP.in" or die $!;
while (my $line = <FILE>) {
     chomp($line);
      my($key, $val) = split /\|/, $line;
      $hash{$key} = $val;
 }
 close FILE;

my $filename = 'report.txt';
open(my $fh, '>', $filename) or die "Could not open file '$filename' $!";
open FILE, "rep.in" or die $!;
while (my $line = <FILE>) {
      chomp($line);
  my @words = split /\|/, $line;
  for (my $i=0; $i <= $#words; $i++) {
    if($i == 0)
    {
       next;
    }
    print $fh  $words[$i] . "|^"
  }
  print $fh  $hash{$words[0]} . "\n";
 }
 close FILE;
 close $fh;
 print "done\n";

my $now_string = strftime "%a %b %e %H:%M:%S %Y", localtime;
print $now_string . "\n";

Answer 1

由于几个原因，您的技术效率极低。

• 绑定速度极慢。
• 您正在将所有内容都拉入内存。

第一个问题可以通过自己阅读和拆分来缓解，但后者总是会成为问题。经验法则是避免将大块数据拉入内存。它会占用所有内存，并可能导致它交换到磁盘并减慢速度，尤其是在您使用旋转磁盘时。

相反，您可以将各种“磁盘哈希”与GDBM_File 或BerkleyDB 等模块一起使用。

但实际上没有理由与他们混在一起，因为我们有 SQLite，它可以更快更好地完成他们所做的一切。

---

在 SQLite 中创建一个表。

create table imported (
    id integer,
    value text
);

使用 sqlite shell 的 .import 导入您的文件，使用 .mode 和 .separator 调整您的格式。

sqlite>     create table imported (
   ...>         id integer,
   ...>         value text
   ...>     );
sqlite> .mode list
sqlite> .separator |
sqlite> .import test.data imported
sqlite> .mode column
sqlite> select * from imported;
12345       NITIN     
12346       NITINfoo  
2398        bar       
9823        baz     

现在，您以及其他任何需要处理数据的人都可以使用高效、灵活的 SQL 来做任何您喜欢的事情。即使导入需要一段时间，您也可以在导入的同时去做其他事情。

Answer 2

我会使用sort 非常快速地对数据进行排序（10,000,000 行需要 5 秒），然后合并排序后的文件。

perl -e'
   sub get {
      my $fh = shift;
      my $line = <$fh>;
      return () if !defined($line);

      chomp($line);
      return split(/\|/, $line);
   }

   sub main {
      @ARGV == 2
         or die("usage\n");

      open(my $fh1, "-|", "sort", "-n", "-t", "|", $ARGV[0]);
      open(my $fh2, "-|", "sort", "-n", "-t", "|", $ARGV[1]);

      my ($key1, $val1) = get($fh1)  or return;
      my ($key2, $val2) = get($fh2)  or return;

      while (1) {
         if    ($key1 < $key2) { ($key1, $val1) = get($fh1)  or return; }
         elsif ($key1 > $key2) { ($key2, $val2) = get($fh2)  or return; }
         else {
            print("$key1,$val1,$val2\n");
            ($key1, $val1) = get($fh1)  or return;
            ($key2, $val2) = get($fh2)  or return;
         }
      }
   }

   main();
' file1 file2 >file

对于每个文件中的 10,000,000 条记录，这在速度较慢的机器上需要 37 秒。

$ perl -e'printf "%d|%s\n", 10_000_000-$_, "X15X1211,J,S,12,15,100.05" for 1..10_000_000' >file1

$ perl -e'printf "%d|%s\n", 10_000_000-$_, "AJ15,,,16,PP" for 1..10_000_000' >file2

$ time perl -e'...' file1 file2 >file
real    0m37.030s
user    0m38.261s
sys     0m1.750s

---

或者，可以将数据转储到数据库中并让它处理细节。

sqlite3 <<'EOI'
CREATE TABLE file1 ( id INTEGER, value TEXT );
CREATE TABLE file2 ( id INTEGER, value TEXT );
.mode list
.separator |
.import file1 file1
.import file2 file2
.output file
SELECT file1.id || "," || file1.value || "," || file2.value
  FROM file1
  JOIN file2
    ON file2.id = file1.id;
.exit
EOI

但您需要为灵活性付出代价。这花费了两倍的时间。

real    1m14.065s
user    1m11.009s
sys     0m2.550s

注意：我最初在 .import 命令之后有 CREATE INDEX file2_id ON file2 ( id );，但删除它对性能有很大帮助..