计算文本文件中重复行数的更简单方法答案

【问题标题】：Simpler way to count the number of duplicated rows in a text file计算文本文件中重复行数的更简单方法
【发布时间】：2015-06-27 18:42:04
【问题描述】：

我有一个如下所示的文本文件：

abc
bcd
abc
efg
bcd
abc

预期的输出是这样的：

3 abc 
2 bcd
1 efg

我知道有一个现有的解决方案：

sort -k2 < inFile |
awk '!z[$1]++{a[$1]=$0;} END {for (i in a) print z[i], a[i]}' |
sort -rn -k1 > outFile

代码排序、删除重复项并再次排序，并打印预期的输出。但是，有没有更简单的方法来表达 z[$1]++{a[$1]=$0} 部分？我的意思是更“基本”。

【问题讨论】：

【解决方案1】：

更基本的：

$ sort inFile | uniq -c
      3 abc
      2 bcd
      1 efg

当人们习惯了awk 的习语时，!z[$1]++{a[$1]=$0;} 的表达是清晰而简洁的。对于那些习惯用其他语言编程的人来说，其他形式可能会更熟悉，例如：

awk '{if (z[$1]++ == 0) a[$1]=$0;} END {for (i in a) print z[i], a[i]}'

或者，

awk '{if (z[$1] == 0) a[$1]=$0; z[$1]+=1} END {for (i in a) print z[i], a[i]}'

【讨论】：

【解决方案2】：

如果您的输入文件包含数十亿行并且您想避免排序，那么您可以这样做：

awk '{a[$0]++} END{for(x in a) print a[x],x}' file.txt

【讨论】：