删除任何重复行并保持原始顺序的脚本

Question

需要编写一个脚本来处理标准输入并删除每个找到的重复行，直到标准输入结束。每个副本而且第一个选项的线性重复都会被删除，无论条目中是否有另一个或分散。标准输出仅显示没有重复条目的行（按收到的条目顺序）。
例如，我们有文件 test.txt 包含以下内容：

Whatever
You
Want
You
To
Whatever
Have
Here

输出应该删除所有重复的行，并且行的顺序与输入相同，如下所示：

Want
To
Have
Here

请注意，我们不知道文件包含什么（这只是一个示例）。我测试了许多命令，但找不到一个有效且符合要求的命令。

IMPORTANT NOTE : I need all occurences of the line to be deleted,

  not only all of them after the first one 

Answer 1

我不知道“每个副本以及线性重复的第一个选项都将被删除”是什么意思，但我认为您只是在寻找：

awk '!a[$0]++'

或许：

awk '!a[$1]++'

例如：

$ cat input
Whatever
You
Want
Whatever 1
You
To
Whatever 1
Have
Here
$ awk '!a[$0]++' input
Whatever
You
Want
Whatever 1
To
Have
Here
$ awk '!a[$1]++' input
Whatever
You
Want
To
Have
Here