删除 .csv 上两列上的重复行 [关闭]

Question

我想通过 bash 查找 csv 文件中的重复项，并使用管道作为字段分隔符。

举个例子：

输入：

W14|E75  
Z20|K60  
R59|R59  
K60|O74  
A08|M10  

预期输出：

Z20|K60  
R59|R59  
K60|O74  

其他预期输出：

Z20|K60  
R59|R59  

我的意思是当表达式已经存在于第一列时，只需保留它，与第二列相同，否则我可以接受只保留第一行。

我尝试的是：

awk -F "|" 'FNR==NR { x[$1,$2]++; next } x[$1,$2] > 1' file.csv file.csv

我考虑使用 grep，但我不确定该怎么做。

抱歉英语不好，提前谢谢你

Answer 1

我认为根据输出，您需要非唯一条目，无论它们在行中的位置如何

$ awk -F'|' 'NR==FNR{a[$1]++;a[$2]++;next} a[$1]*a[$2]>1' file{,}

应该给你你的第一个输出。