在文件中查找部分重复行并计算每行重复了多少次？答案

【问题标题】：Find partial duplicate lines in a file and count how many time each line was duplicated?在文件中查找部分重复行并计算每行重复了多少次？
【发布时间】：2018-10-25 08:42:36
【问题描述】：

我想计算我的日志文件中有多少重复项。例如，如果以下是我的日志

[2018-10-17 15:25:24,243] [ERROR] python - Users: Unable to retrieve 1  
[2018-10-17 15:25:24,272] [ERROR] python - Users: Unable to retrieve 2  
[2018-10-17 15:25:24,280] [ERROR] python - Users: Unable to retrieve 3  
[2018-10-17 15:25:24,281] [ERROR] python - Users: Unable to retrieve 2  
[2018-10-17 15:26:45,759] [ERROR] python - CATP: Unable to retrieve 1  
[2018-10-17 15:26:48,432] [ERROR] python - Users: Unable to retrieve 3  
[2018-10-17 15:26:48,460] [ERROR] python - Users: Unable to retrieve 1

我希望输出是

Users: Unable to retrieve 1 : 3  
Users: Unable to retrieve 2 : 2  
Users: Unable to retrieve 3 : 2

【问题讨论】：

标签： linux file count grep duplicates

【解决方案1】：

如果我没有解释错，一行 AWK 就足够了。

awk '{m[$NF]++} END{for(k in m) print k,"unable to retrieve",m[k]}' test.txt

test.txt 是您的日志文件。

这是一个非常简单的单行，因为它只检查每行中的最后一个字段，将它们累积并最后打印。

【讨论】：