在相似的起始块之间捕获文本并将结果存储在单独的文件中

Question

我有一个长达数百万行的大文本文件。在所有这些行之间，有如下数据块：

#Start of activity on <hostname>
....
....
....
....
#End of activity on <hostname>

在每个数据块之间，有很多我不感兴趣的垃圾数据行。上面显示的数据块随机出现在大文本文件中。我要做的是将每个数据块移动到以块中的主机名标记作为文件名的单独文件。 此外，在操作结束时，大文件应该只有垃圾行，并且应该没有任何块。

我目前拥有的是这样的：

awk '/Start\sof\sactivity\son/{f=1;s="FILE"++i;next}/End\sof\sactivity\son/{f=0; close(s)}f{print > s}' bigfile

但它不会将其分类到以文件名作为主机名的文件中，也不会删除选定的行。 任何方式都可以使用 perl、awk、sed、grep 或 python 来完成？

编辑：

对于 Jaypal ..主机名现在在开头，并且仅在块的开头句子中..块如下：

SGSGSINCQ14FWR52B#start of activity
........
........
........
#end of activity

Answer 1

试试这个（重复使用大部分现有代码）：

awk '
/Start *of *activity *on/ {f=1; s=$NF; next}
/End *of *activity *on/   {f=0; close(s); next}
f{print > s; next}1
' bigfile > trunc_bigfile

• 您将文件名设置为“文件”而不是主机名。使用$NF，我们将条目保存在主机名中。如果您的主机名包含<> 字符，请在将其分配给变量之前使用sub() 或gsub() 将其删除。
• 大文件永远不会更新，除非你有支持文件内更改的gawk 4.1。我们将文件中剩余内容的输出重定向到 STDOUT，并使用 > 将 STDOUT 重定向到 trunc_bigfile。
• 我所做的其他更改是，在块的末尾，使用next 来避免将其打印在截断的大文件中，并使用1 打印该块之外的所有其他行。

更新：

如果 Start 块具有随机顺序的主机名，那么您可以遍历该行并捕获与其匹配的行（使用正则表达式，我根据您添加到问题的示例行使用大写字符和数字） .:

/Start *of *activity *on/{f=1;for (i=1;i<=NF;i++)if($i~/[[:upper:][:digit:]]+/);{s=$i};next}
/End *of *activity *on/{f=0; close(s);next}
f{print > s;next}1
' bigfile > trunc_bigfile

Answer 2

你可以用awk来做这样的事情：

awk '/^#Start/{f=$NF;next}   /^#End/{f="";next}   {if(f){print >f}else print}' yourfile > junk

所以，当我们看到#Start 时，我们将最后一个字段（即主机名）选为f，我们将使用它作为文件名。当我们看到#End 时，我们将清除文件名。在所有其他行中，如果文件名已设置（即我们在一个有用的数据块中），我们将写入命名文件f，如果没有，我们将写入重定向到名为“junk”的文件的标准输出

如果您有空格，则无需在awk 中转义它们：

echo "hi with a space" | awk '/hi with/'
hi with a space

echo "hi with a space" | awk '/hi there/'

如果您的主机名从 Start of activity 行的末尾移动到开头，则 awk 将如下更改：

echo "hostname Start of activity" | awk '/Start of activity/{print $1}'
hostname

即主机名将以 1 美元为单位，但我们仍在某处寻找Start of activity。

那么总体答案会变成：

awk '/Start of activty/{f=$1;next}   /End of activity/{f="";next}   {if(f){print >f}else print}' yourfile > junk