打印重复计数而不删除终端中的重复项

Question

我是在 mac 上使用终端的新手，并且有一个大的 .tsv 文件，其中包含一个项目列表和旁边的两个值。我希望能够在第一次出现的项目旁边打印重复的数量，而无需删除其他数据。

我知道 cut -f 1 |排序 | uniq -c 但这会删除我想保留以供分析的许多有价值的数据。我正在阅读有关 awk 和 grep 的信息，但我想我需要一点帮助。

这是我正在尝试处理的文件的示例：

fruit   number  reference
apple   12  342
apple   13  345
apple   43  4772
banana  19  234
banana  73  3242
peach   131 53423
peach   234 3266
peach   242 324
peach   131 56758
peaches 29  2434

理想情况下，输出应如下所示：

fruit   number  reference   fruit_count
apple   12  342 3
apple   13  345 
apple   43  4772    
banana  19  234 2
banana  73  3242    
peach   131 53423   4
peach   234 3266    
peach   242 324 
peach   131 56758   
peaches 29  2434    1

这样的事情可能吗？我可以使用公式获得所需的输出 excel，但文件太大并且不断崩溃。任何帮助将不胜感激。

编辑：添加我当前的解决方案（不符合我的要求）

cut -f 1 fruitsample.txt | sort | uniq -c | sed -e 's/ *//' -e 's/ / /'

这给了我预期的计数，将 uniq -c 的标准计数 + 空格输出替换为制表符，但它也会对标题行进行排序并删除第二列和第三列。

在 Excel 上，我可以使用公式 =IF(COUNTIF(A$2:A2,A2)=1,COUNTIF(A:A,A2),"") 并填写它。我正在处理的文件有将近 680K 行数据，而 Excel 在尝试计算这么多行时会卡住。

正如我所提到的，我是一个寻求指导的初学者。我只是对 awk 或 grep 不太熟悉。再次感谢！

Answer 1

awk 来救援！

awk 'NR==FNR {a[$1]++; next} 
     FNR==1  {print $0, "fruit_count"; next} 
     $1 in a {$(NF+1)=a[$1]; delete a[$1]}1' file{,} | 
column -t

fruit    number  reference  fruit_count
apple    12      342        3
apple    13      345
apple    43      4772
banana   19      234        2
banana   73      3242
peach    131     53423      4
peach    234     3266
peach    242     324
peach    131     56758
peaches  29      2434       1

为了解释主要思想，我将使用一个更简单的结构，没有标题和未排序的数据

$ cat file
apple
banana
apple
apple
cherry
banana

$ awk 'NR==FNR {a[$1]++; next}            # in the first pass, save key counts
                $1 in a                   # if the key in map
                        {$(NF+1)=a[$1];   # add the count as a last column
                         delete a[$1]}    # remove key from map
                1                         # print
       ' file{,} |                        # bash shorthand for: file file
  column -t                               # pretty print columns 


apple   3
banana  2
apple
apple
cherry  1
banana

对于简化的示例，使用 unix 工具链可以实现相同的效果

join -a1 -11 -22 -o1.2,2.1 <(cat -n file) <(cat -n file | sort -k2 | uniq -c -f1)

添加标题将需要更多的杂耍；这是awk 闪耀的地方。

Answer 2

另一个使用 awk 和 double-tacs：

$ tac file | awk '
NR>1 {print q, (p==$1?"":++c)}                  # p previous first field, q previous record
     {c=(p==$1?c+1:0); p=$1; q=$0}              # c is the counter
END  {print q, "fruit_count"}
' | tac
fruit   number  reference fruit_count
apple   12  342 3
apple   13  345
apple   43  4772
banana  19  234 2
banana  73  3242
peach   131 53423 4
peach   234 3266
peach   242 324
peach   131 56758
peaches 29  2434 1

Answer 3

这在输入文件的单次传递中执行您想要的操作，并且一次仅将 1 个水果的值存储在内存中，因此尽管您的文件对于 MS-Excel 来说太大，但它不应该有性能或内存问题：

$ cat tst.awk
NR==1 { print $0, "fruit_count"; next }
$1 != prev { prt() }
{ arr[++cnt] = $0; prev = $1 }
END { prt() }
function prt(    i) {
    if (cnt) {
        print arr[1], cnt
        for (i=2; i <= cnt; i++) {
            print arr[i]
        }
        delete arr
        cnt = 0
    }
}

$ awk -f tst.awk file | column -t
fruit    number  reference  fruit_count
apple    12      342        3
apple    13      345
apple    43      4772
banana   19      234        2
banana   73      3242
peach    131     53423      4
peach    234     3266
peach    242     324
peach    131     56758
peaches  29      2434       1