在每个空白行上拆分大文本文件

Question

我在将一个大的文本文件拆分成多个较小的文件时遇到了一些麻烦。我的文本文件的语法如下：

dasdas #42319 blaablaa 50 50
content content
more content
content conclusion

asdasd #92012 blaablaa 30 70
content again
more of it
content conclusion

asdasd #299 yadayada 60 40
content
content
contend done
...and so on

我文件中的典型信息表有 10-40 行。

我希望将此文件拆分为 n 个较小的文件，其中 n 是内容表的数量。

那是

dasdas #42319 blaablaa 50 50
content content
more content
content conclusion

将是它自己的单独文件，(whateverN.txt)

和

asdasd #92012 blaablaa 30 70
content again
more of it
content conclusion

又是一个单独的文件whateverN+1.txt 等等。

看起来awk 或Perl 是很好的工具，但在语法有点令人费解之前从未使用过它们。

我发现这两个问题几乎与我的问题相对应，但未能修改语法以满足我的需要：

Split text file into multiple files & How can I split a text file into multiple text files?（在 Unix 和 Linux 上）

应该如何修改命令行输入，以解决我的问题？

Answer 1

因为是星期五，我觉得有点帮助...... :)

试试这个。如果文件像您暗示的那样小，最简单的方法是一次读取所有文件并在内存中工作。

use strict;
use warnings;

# slurp file
local $/ = undef;
open my $fh, '<', 'test.txt' or die $!;
my $text = <$fh>;
close $fh;

# split on double new line
my @chunks = split(/\n\n/, $text);

# make new files from chunks
my $count = 1;
for my $chunk (@chunks) {
    open my $ofh, '>', "whatever$count.txt" or die $!;
    print $ofh $chunk, "\n";
    close $ofh;
    $count++;
}

perl 文档可以解释您不理解的任何单个命令，但此时您可能也应该查看教程。

Answer 2

你可以用这个awk，

awk 'BEGIN{file="content"++i".txt"} !NF{file="content"++i".txt";next} {print > file}' yourfile

（或）

awk 'BEGIN{i++} !NF{++i;next} {print > "filename"i".txt"}' yourfile

更易读的格式：

BEGIN {
        file="content"++i".txt"
}
!NF {
        file="content"++i".txt";
        next
}
{
        print > file
}

Answer 3

awk -v RS="\n\n" '{for (i=1;i<=NR;i++); print > i-1}' file.txt

将记录分隔符设置为空行，将每条记录打印为单独的文件，编号为 1、2、3 等。最后一个文件（仅）以空行结尾。

Answer 4

也试试这个 bash 脚本

#!/bin/bash
i=1
fileName="OutputFile_$i"
while read line ; do 
if [ "$line"  == ""  ] ; then
 ((++i))
 fileName="OutputFile_$i"
else
 echo $line >> "$fileName"
fi
done < InputFile.txt

Answer 5

将RS 设置为null 告诉awk 使用一个或多个空行作为记录分隔符。那么你可以简单地使用NR来设置每条新记录对应的文件名：

 awk -v RS= '{print > ("whatever-" NR ".txt")}' file.txt

RS： 这是 awk 的输入记录分隔符。它的默认值是一个包含单个换行符的字符串，这意味着输入记录由单行文本组成。 它也可以是空字符串，在这种情况下，记录由空行分隔，或正则表达式，在这种情况下，记录由输入文本中正则表达式的匹配项分隔。

$ cat file.txt
dasdas #42319 blaablaa 50 50
content content
more content
content conclusion

asdasd #92012 blaablaa 30 70
content again
more of it
content conclusion

asdasd #299 yadayada 60 40
content
content
contend done

$ awk -v RS= '{print > ("whatever-" NR ".txt")}' file.txt

$ ls whatever-*.txt
whatever-1.txt  whatever-2.txt  whatever-3.txt

$ cat whatever-1.txt 
dasdas #42319 blaablaa 50 50
content content
more content
content conclusion

$ cat whatever-2.txt 
asdasd #92012 blaablaa 30 70
content again
more of it
content conclusion

$ cat whatever-3.txt 
asdasd #299 yadayada 60 40
content
content
contend done
$ 

Answer 6

Perl 有一个有用的特性，称为输入记录分隔符。 $/.

这是读取文件时分隔记录的“标记”。

所以：

#!/usr/bin/env perl
use strict;
use warnings;

local $/ = "\n\n"; 
my $count = 0; 

while ( my $chunk = <> ) {
    open ( my $output, '>', "filename_".$count++ ) or die $!;
    print {$output} $chunk;
    close ( $output ); 
}

就这样。 <> 是“魔术”文件句柄，因为它读取管道数据或从命令行上指定的文件（打开并读取它们）。这类似于sed 或grep 的工作方式。

这可以简化为一个衬里：

perl -00 -pe 'open ( $out, '>', "filename_".++$n ); select $out;'  yourfilename_here

Answer 7

如果您收到“打开的文件过多”错误如下...

awk: whatever-18.txt makes too many open files
 input record number 18, file file.txt
 source line number 1

在创建新文件之前，您可能需要关闭新创建的文件，如下所示。

awk -v RS= '{close("whatever-" i ".txt"); i++}{print > ("whatever-" i ".txt")}' file.txt

Answer 8

您可以使用csplit 命令：

csplit \
    --quiet \
    --prefix=whatever \
    --suffix-format=%02d.txt \
    --suppress-matched \
    infile.txt /^$/ {*}

POSIX csplit 只使用短选项，不知道--suffix 和--suppress-matched，所以这需要GNU csplit。

这是选项的作用：

• --quiet – 禁止输出文件大小
• --prefix=whatever - 使用 whatever 代替默认的 xx 文件名前缀
• --suffix-format=%02d.txt - 将 .txt 附加到默认的两位数后缀
• --suppress-matched – 不包括匹配输入分割模式的行
• /^$/ {*} – 尽可能多地拆分模式“空行”(/^$/) ({*})

Answer 9

你也可以试试split -p "^$"