使用 CAT 或 AWK 读取文件以获得更好的执行时间 [关闭]

Question

我有两个相同的脚本。在其中一个我使用 cat，而在另一个则全部是 AWK。

这是第一个：

#!/bin/bash


        lines=$(cat /etc/passwd | wc -l)

        for ((i=1 ; i <=$lines ; i++ ))
        do
        user=$(cat /etc/passwd | awk -F : -vi=$i 'NR==i {print $1}')
        uid=$(cat /etc/passwd | awk -F : -vi=$i 'NR==i {print $3}')
        gid=$(cat /etc/passwd | awk -F : -vi=$i 'NR==i {print $4}')
        shell=$(cat /etc/passwd | awk -F : -vi=$i 'NR==i {print $7}')
        echo -e "User is : $user \t Uid is : $uid \t Gid is : $gid \t Shell is : $shell"
        done

这是第二个：

#!/bin/bash


        lines=$(awk  'END {print NR}' /etc/passwd)

        for ((i=1 ; i <=$lines ; i++ ))
        do
        user=$(awk  -F : -vi=$i 'NR==i {print $1}' /etc/passwd)
        uid=$(awk  -F : -vi=$i 'NR==i {print $3}'  /etc/passwd)
        gid=$(awk  -F : -vi=$i 'NR==i {print $4}'  /etc/passwd)
        shell=$(awk  -F : -vi=$i 'NR==i {print $7}' /etc/passwd)
        echo -e "User is : $user \t Uid is : $uid \t Gid is : $gid \t Shell is : $shell"
        done

第一个脚本所用时间如下（带有CAT语句的脚本）：

real    0m0.215s
user    0m0.023s
sys     0m0.238s

对于只有 AWK 语句的第二个脚本，所用时间如下：

real    0m0.132s
user    0m0.013s
sys     0m0.123s

我认为与调用其他外部函数来读取文件相比，文件的 awk 处理要快得多。我很乐意就结果进行讨论。

我认为 AWK 在某些情况下表现更好。

这里是关于这个问题的：

https://askubuntu.com/questions/564944/cat-vs-grep-vs-awk-command-get-the-file-content-which-one-is-more-efficient-and/801569#801569

Answer 1

很明显：

lines=$(cat /etc/passwd | wc -l)

比这效率低：

lines=$(awk  'END {print NR}' /etc/passwd)

对于这种大小的文件，与处理时间相比，执行每个进程的成本是显着的。

不过，这两种方法都不是很好。如果要获取文件的长度，只需使用wc -l < file。

无论如何，你的循环写成这样的单个 awk 程序会快得多：

awk -F: '{ 
  printf "User is : %s \t Uid is : %s \t Gid is : %s \t Shell is : %s\n", 
    $1, $3, $4, $7 
}' /etc/passwd

使用print 代替printf 可以获得更好的性能。

awk -F: '{ 
  print "User is : " $1 " \t Uid is : " $3 " \t Gid is : " $4 " \t Shell is : " $7
}' /etc/passwd