在大文件中使用 sed 或 awk 打印行后的时间延迟答案

【问题标题】：time delay after printing lines with sed or awk in large file在大文件中使用 sed 或 awk 打印行后的时间延迟
【发布时间】：2014-07-16 11:48:48
【问题描述】：

我有一个大文件 (1Gb)，我需要使用记录号提取其中的几行。我用 sed 编写了我的脚本，但由于花费了太多时间，我决定对其进行调查。事实证明，当我运行类似 sed -n '15689,15696p' 文件名打印很快，但之后我有一个时间延迟，这让我的脚本变得非常慢。用 awk 做同样的任务，延迟更小，但它仍然存在！我用于 awk 的命令行是： awk 'NR>=15689 && NR

我尝试只打印一行（sed -n '15689p' 文件名），但出现了同样的问题！

我想知道是否没有人以前见过这种情况并且知道如何摆脱这种愚蠢的延迟。在我看来这是一个大问题，因为这个延迟发生在打印任务之后！我已经在此论坛和其他论坛中进行了搜索，但没有看到有关此问题的问题。有人能帮我吗？谢谢

【问题讨论】：

如果您在打印您想要的行后告诉awk“退出”，这有帮助吗？ awk（和sed）不知道他们已经完成，除非你告诉他们完成/退出。如果你不这样做，他们仍然需要遍历文件的其余部分。
我认为这可能会减少时间awk 'NR==15689{print; exit}'

标签： bash shell awk sed timedelay

【解决方案1】：

这是因为它一直扫描到文件末尾。打印后试试这个退出：

sed -ne '15690q;15689p' file

或者用 awk：

awk 'NR>=15689 && NR<=15696{print} NR==15697{exit}' filename

只是为了好玩，我跑了@RichardHum 的时间，而我的在带有 SSD 驱动器的 OSX Mavericks 上完全相反：

#!/bin/bash -xv
seq 1 100000000 > file
time (head -50000000 file | tail -10) > /dev/null
time (sed -n '50000000q;49999991,50000000p' file) > /dev/null
time (awk 'NR>=49999991 && NR<=50000000{print} NR==50000001{exit}' file)
time (head -50000000 file | tail -10) > /dev/null

我得到了：

time (head -50000000 file | tail -10) > /dev/null
real    0m29.565s
user    0m35.711s
sys 0m0.733s

time (sed -n '50000000q;49999991,50000000p' file) > /dev/null
real    0m13.313s
user    0m13.162s
sys 0m0.150s

time (awk 'NR>=49999991 && NR<=50000000{print} NR==50000001{exit}' file)
real    0m7.433s
user    0m7.293s
sys 0m0.139s

time (head -50000000 file | tail -10) > /dev/null
real    0m29.560s
user    0m35.697s
sys 0m0.742s

我什至在最后运行了 head+tail 解决方案，以防第一次缓存没有好处，但它肯定慢了几英里！

【讨论】：

谢谢！第一个代码只适用于我一行，所以对我不利。但是第二个真的很好用！ =)
您的head、tail、sed 和awk 是GNU 版本还是Apple 提供的版本？
我想我使用了GNU awk，其余的都是 Apple 提供的。

【解决方案2】：

避免使用sed -n '15689,15696p'，因为 sed 会遍历整个文件。我知道的最快的方法是：

head -15696 filename | tail -10

我对其进行了基准测试，它运行得更快：

$ seq 1 100000000 > file

$ time (head -50000000 file | tail -10) > /dev/null
real    0m0.694s
user    0m0.830s
sys     0m0.333s

$ time (sed -n '49999991,50000000p' file) > /dev/null
real    0m6.018s
user    0m5.863s
sys     0m0.160s

$ time (sed -n '50000000q;49999991,50000000p' file) > /dev/null
real    0m3.197s
user    0m3.153s
sys     0m0.043s

$ time (awk 'NR>=49999991 && NR<=50000000' file) > /dev/null
real    0m12.665s
user    0m12.543s
sys     0m0.123s

$ time (awk 'NR>=49999991 && NR<=50000000{print} NR==50000001{exit}' file)
real    0m9.104s
user    0m9.010s
sys     0m0.100s

【讨论】：

完美！我喜欢这个解决方案，但行数对我来说并不总是相同的，也许，记录这也是因为记录数会比使用 awk 花费更多的时间。但是，我会尝试两者，看看什么最适合我！非常感谢！！！
只是再添加一条评论......如果他已经完成了我问他的任务，为什么 sed 会遍历整个文件？这真的毫无意义.... =/