寻找一个单行从文件中删除重复的多行段落

Question

File:
this is a paragraph
to find in another 
file

some stuff .. 

more stuff ... 

this is a paragraph
to find in another 
file

more stuff ... 

another paragraph 
to match

yet more stuff.. 

this is a paragraph
duplicate in this 
file

another paragraph 
to match 

this is a paragraph
duplicate in this 
file

yet more stuff..

this is a paragraph
to find in another
file

应该返回：

this is a paragraph
to find in another 
file

some stuff .. 

more stuff ... 

more stuff ... 

another paragraph 
to match

yet more stuff.. 

this is a paragraph
duplicate in this 
file

yet more stuff..

我找到了 pcregrep -n -M，我知道我可以使用 sed 和这个命令循环搜索每个段落，但是 pcregrep 并不是在每个系统上都有，所以如果可以避免它会很好。使用标准的 *nix 东西寻找优雅的东西，最好不要使用 perl。

* 一些不错的帖子和想法，但尽管在我发布的有限案例中确实有效，但它们并没有普遍发挥作用，因此我调整了示例数据，以便您查看它是否会更普遍

* 这是一个只打印多行段落的 sed 单行：

sed -e '/./{H;$!d;}' -e 'x;/.*\n.*\n.*/!d' file

Answer 1

这主要是你想要的。唯一的问题（我知道的副手）是它将输入中的空白行折叠成输出中的单个空白行。

awk -v RS= '!x[$0]++{print; print ""}'

使用“如果 RS 设置为空字符串，则记录由空行分隔”这一事实。并为 awk 吞下的 RS 打印一个额外的空白行。

编辑：结合@EdMorton 的建议可以让你得到这个。

awk -v RS= -v ORS='\n\n' '!seen[$0]++'

awk -v RS= '!seen[$0]++{ORS=RT; print}' 让 GNU awk 使段落之间的间距与输入保持一致（而不是折叠空行）。

再次编辑：

这个版本似乎可以正常工作（使用 GNU awk 3.1.7 和更新版本，我不知道 3.1.6），但它在文件末尾添加了一个空行。

awk -v RS= '{gsub(/[[:blank:]]+$/,""); gsub(/[[:blank:]]+\n/,"\n")} !seen[$0]++{ORS=RT;print}'