根据计数将文件分成相等的部分

Question

我有一个包含节点列表的文件 (node_list.txt)。

nod_1
nod_2
nod_3
nod_4
nod_5

我有主机 IP 地址列表（这个计数可能会有所不同），需要将 node_list 分成相等数量的部分，并将这些拆分的节点文件发送到每个主机。 host_ip1 host_ip2 host_ip3

文件中节点的划分基于可用的 host_ip 数量。

在我的示例中，我应该得到：

node_list_file_1.txt
nod_1
nod_2

node_list_file_2.txt
nod_3
nod_4

node_list_file_3.txt
nod_5

我的代码如下所示：

print Dumper(\@list_of_hosts);

my $node_file = "node_list.txt";
open(NODE_FILE, "< $node_file") or die "can't open $node_file: $!";
my $count;
$count += tr/\n/\n/ while sysread(NODE_FILE, $_, 2 ** 16);
print "COUNT:$count\n";

my $res = $count / scalar @list_of_ips;

在$res 我正在计算每个文件应该有多少行。但是如何将其放入文件中。

Answer 1

这会拆分行，以便除最后一个文件之外的每个文件都接收最大相等的数量，从而最后一个获得余数。所以用 10 行来分割 3 个文件，它们会变成 4-4-2。^†

use warnings;
use strict;
use feature 'say';
use autodie qw(open);

my @lines = <>;
my $num_files = 3;
my $lines_per_file = int @lines/$num_files;
$lines_per_file += 1  if @lines % $num_files;

my @chunks;
push @chunks, [ splice @lines, 0, $lines_per_file ] while @lines;

my @fhs_out = map { open my $fh, ">fout_$_.txt"; $fh } 1..$num_files;

for my $i (0..$#chunks) { 
    print {$fhs_out[$i]} $_ for @{$chunks[$i]};
};

注意事项

• <> 从命令行提交的文件中读取所有行

• 如果要写入的文件数不能平均分割它们之间的行数，我们需要在每个文件中多写一行（最后一个接收剩余部分）

  李>

• 带有行的数组依次为splice-ed，以便生成行块，每个行进入一个文件，因此最终清空

• 我打开所有需要的输出文件并将文件句柄存储到一个数组中，以便以后方便地将行块写入它们的文件。这绝不是必要的，因为可以遍历 @chunks 并打开一个文件并为每组（“块”）行写入该文件

• 当写入文件句柄时，需要从一个比基本标量更复杂的表达式求值，我们必须在块中包含它，例如{ $fhs_out[$i] }。来自print

  如果您将句柄存储在数组或散列中，或者一般来说，当您使用比裸字句柄或普通的无下标标量变量更复杂的表达式来检索它时，您将不得不使用返回的块文件句柄值，[...]

  请参阅this post 了解其他方式和更多讨论。

---

^† 如果这种情况下线的分布必须是4-3-3，所以尽量平均分割，上面的代码需要修改成

my $lines_per_file = int @lines/$num_files;
my $extra = @lines % $num_files;

my @chunks;
push @chunks,
     [ splice @lines, 0, $lines_per_file + ( $extra-- > 0 ? 1 : 0 ) ] 
         while @lines;

其余的都一样。

Answer 2

my $num_buckets = 3;

my @lines = <>;

my $per_bucket = int( @lines / $num_buckets );
my $num_extras =      @lines % $num_buckets;

for my $bucket_num (0..$num_buckets-1) {
   my $num_lines = $per_bucket;
   if ($num_extras) {
      ++$num_lines;
      --$num_extras;
   }

   my $qfn = "node_list_file_${bucket_num}.txt";
   open(my $fh, '>', $qfn)
      or die("Can't create \"$qfn\": $!\n");

   $fh->print(splice(@lines, 0, $num_lines));
}

$per_bucket 是每个文件的节点数。
$num_extras 是有一个额外节点的文件数。

请注意，$num_lines 的计算可以简化为以下内容（为了便于阅读，我避免使用）：

my $num_lines = $per_bucket + ( $num_extras-- > 0 );

---

上面将整个文件加载到内存中。以下是一个替代解决方案：

my $num_buckets = 3;

my @fhs;
for my $bucket_num (1..$num_buckets) {
   my $qfn = "node_list_file_${bucket_num}.txt";
   open(my $fh, '>', $qfn)
      or die("Can't create \"$qfn\": $!\n");

   push @fhs, $fh;
}

$fhs[ ( $. - 1 ) % @fhs ]->print($_) while <>;

但是，当它执行请求的任务时，输出与指定的不完全相同：

node_list_file_1.txt
--------------------
nod_1
nod_4

node_list_file_2.txt
--------------------
nod_2
nod_5

node_list_file_3.txt
--------------------
nod_3

Answer 3

也许下面的代码符合你的要求

use strict;
use warnings;

use feature 'say';

use Data::Dumper;

my $debug = 1;                          # $debug = 1 -- debug mode

my $node_file = "node_list.txt";        # input filename

my @hosts = qw(host_ip1 host_ip2 host_ip3); # Hosts to distribute between

my $num_hosts = @hosts;                 # Number of hosts to distribute between

open(my $fh, "<", $node_file) 
        or die "can't open $node_file: $!";

my @nodes =  <$fh>;                     # read input lines into @nodes array

chomp @nodes;                           # trim newline from each element @nodes array

close $fh;

print Dumper(\@nodes) if $debug;        # print @nodes content in debug mode

my $count = @nodes;                     # count number nodes in @nodes array

print "COUNT: $count lines in the input file\n";

# How many lines store in out files
my $lines_in_file = int($count/$num_hosts + 0.5);

my $lines_out   = $lines_in_file;       # how many line to output per file
my $file_index  = 1;                    # index for output filenames
my $filename    = "node_list_file_${file_index}.txt";

# open OUT file
open(my $out, ">", $filename)
        or die "Couldn't open $filename";

foreach my $node_name (@nodes) {        # process each element of @nodes array
    say $out $node_name;                # store node in OUT file

    $lines_out--;                       # decrease number of left lines for output

    if( $lines_out == 0 ) {             # all lines per file stored
        close $out;                     # close file

        $lines_out = $lines_in_file;    # reinitialize number of lines for output

        $file_index++;                  # increase index for filename
        $filename = "node_list_file_${file_index}.txt";

        open($out, ">", $filename)      # open new OUT file
            or die "Couldn't open $filename";
    }
}

close $out;                             # close OUT file