高效的前 10 种多列排序

Question

寻找一种从 Linux 服务器上的大型数据集中获取前 3 个（可扩展）数字字段的有效方法；这是后续https://stackoverflow.com/a/70117001/8823709 的最佳建议

“我有一个 awk 数组，用于聚合和下载字节。我可以 按字节向下或向上对输出进行排序，然后通过管道传送到 谈话最多的人；是否可以使用不同的输出两种类型 钥匙？”

曾经：

zgrep '^1' 20211014T00*.gz|
awk '
    NR > 1 {
         key = $1 " " $2
         bytesdown[key] += $3
         bytesup[key] += $4
     }
     END {
         cmd = "sort -rn | head -3"
         for ( key in bytesDown ) {
             print bytesDown[key], bytesUp[key], key | cmd
         }
         close(cmd)
 
         cmd = "sort -rnk2 | head -3"
         for ( key in bytesDown ) {
             print bytesDown[key], bytesUp[key], key | cmd
         }
         close(cmd)
     }
'

但是，由于数据集的范围可以从 1000 行到数百万行，而不是将整个集合读入一个数组，排序并丢弃绝大多数，将前 10 位的数组作为数据来维护是否可行被读入了吗？与内存消耗相比，绝对速度不是问题，内存消耗是服务器上相对有限的资源。

例如，给定以下示例输入：

ip1     fqdn101 101     10
ip2     fqdn102 102     11
ip3     fqdn103 103     12
ip4     fqdn104 104     13
ip1     fqdn101 105     14
ip1     fqdn102 106     15
ip1     fqdn103 107     16
ip1     fqdn104 108     17
ip2     fqdn103 109     16
ip2     fqdn104 110     17

应该输出

ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip2 fqdn103 109 16

和

ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip1 fqdn104 108 17

对 awk 以外的选项开放——尽管这将是我的默认起点——只要它们在我获得的企业 Linux 服务器版本上可用...

Answer 1

既然您说“绝对速度比内存消耗问题更小”，以下是如何快速执行您想要的操作并使用最少的内存：

$ cat tst.sh
#!/usr/bin/env bash

tmp=$(mktemp) || exit 1
trap 'rm -f "$tmp"; exit' 0

sort -k1,1 -k2,2 "${@:--}" |
awk '
    { key = $1 " " $2 }
    key != prev {
        if ( NR>1 ) {
            print prev, tot3, tot4
        }
        tot3 = tot4 = 0
        prev = key
    }
    {
        tot3 += $3
        tot4 += $4
    }
    END {
        print key, tot3, tot4
    }
' > "$tmp"

sort -nrk3,3 "$tmp" | head -3
printf '\n'
sort -nrk4,4 "$tmp" | head -3

$ ./tst.sh file
ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip2 fqdn103 109 16

ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip1 fqdn104 108 17

上面唯一需要一次处理整个输入的工具是sort，它被设计为使用请求分页等来处理大文件，因此它不需要能够存储整个输入在内存中才能工作。上面使用的临时文件将比您的原始输入文件小得多，因为它只存储每个密钥对的总数。

如果您不想使用临时文件，那么您可以这样做，这将需要更长的时间（可能是 1.5 倍？）来运行：

$ cat tst.sh
#!/usr/bin/env bash

do1tot() {
    local totPos="$1"
    shift

    sort -k1,1 -k2,2 "${@:--}" |
    awk '
        { key = $1 " " $2 }
        key != prev {
            if ( NR>1 ) {
                print prev, tot3, tot4
            }
            tot3 = tot4 = 0
            prev = key
        }
        {
            tot3 += $3
            tot4 += $4
        }
        END {
            print key, tot3, tot4
        }
    ' |
    sort -nrk"$totPos,$totPos" |
    head -3
}

do1tot 3 "${@:--}"
printf "\n"
do1tot 4 "${@:--}"

$ ./tst.sh file
ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip2 fqdn103 109 16

ip1 fqdn101 206 24
ip2 fqdn104 110 17
ip1 fqdn104 108 17