通过中间带有“...”的管道打印文件的前几行和最后几行

Question

问题描述

这是我的文件

1
2
3
4
5
6
7
8
9
10

我想通过管道发送这个文件的 cat 输出并接收它

% cat file | some_command
1
2
...
9
10

---

尝试的解决方案

这是我尝试过的一些解决方案，以及它们的输出

% cat temp | (head -n2 && echo '...' && tail -n2)
1
2
...

% cat temp | tee >(head -n3) >(tail -n3) >/dev/null
1
2
3
8
9
10
# I don't know how to get the ...

% cat temp | sed -e 1b -e '$!d'
1
10

% cat temp | awk 'NR==1;END{print}'
1
10
# Can only get 2 lines

Answer 1

一个 awk：

awk -v head=2 -v tail=2 'FNR==NR && FNR<=head
FNR==NR && cnt++==head {print "..."}
NR>FNR && FNR>(cnt-tail)' file file

或者如果单次通过很重要（并且内存允许），您可以使用perl：

perl -0777 -lanE 'BEGIN{$head=2; $tail=2;}
END{say join("\n", @F[0..$head-1],("..."),@F[-$tail..-1]);}' file   

或者，一次通过的 awk：

awk -v head=2 -v tail=2 'FNR<=head
{lines[FNR]=$0}
END{
    print "..."
    for (i=FNR-tail+1; i<=FNR; i++) print lines[i]
}' file

或者，像这样直接成为穴居人并没有错：

head -2 file; echo "..."; tail -2 file

任何这些印刷品：

1
2
...
9
10

---

效率，这里有一些统计数据。

对于小文件（即小于 10 MB 左右），所有这些都小于 1 秒，而“穴居人”方法是 2 毫秒。

然后我用seq 99999999 >file创建了一个1.1 GB的文件

• 两次通过 awk：50 秒
• perl 一次通过：10 秒
• 一次 awk：29 秒
• “穴居人”：2 毫秒

Answer 2

你可以考虑这个 awk 解决方案：

awk -v top=2 -v bot=2 'FNR == NR {++n; next} FNR <= top || FNR > n-top; FNR == top+1 {print "..."}' file{,}

1
2
...
9
10

Answer 3

两个单通sed解决方案：

sed '1,2b
     3c\
...
     N
     $!D'

和

sed '1,2b
     3c\
...
     $!{h;d;}
     H;g'

Answer 4

假设：

• 正如 OP 所述，解决方案必须能够处理来自管道的流
• 来自流的总行数未知
• 如果总行数小于head/tail 偏移的总和，那么我们将打印重复行（如果 OP 更新问题并提供有关如何解决这种情况的更多详细信息，我们可以添加更多逻辑）李>

implements a queue in awk 跟踪最近的 N 行的单程 awk 解决方案；队列允许我们将 awk's 内存使用限制为仅 N 行（而不是将整个输入流加载到内存中，这在可用内存有限的机器上处理大量行/数据时可能会出现问题）：

h=2 t=3

cat temp | awk -v head=${h} -v tail=${t} '
    { if (NR <= head) print $0
      lines[NR % tail] = $0
    }

END { print "..."

      if (NR < tail) i=0
      else           i=NR

      do { i=(i+1)%tail
           print lines[i]
         } while (i != (NR % tail) )
    }'

这会生成：

1
2
...
8
9
10

---

演示重叠问题：

$ cat temp4
1
2
3
4

使用h=3;t=3 建议的awk 代码生成：

$ cat temp4 | awk -v head=${h} -v tail=${t} '...'
1
2
3
...
2
3
4

这是否是“正确”的输出将取决于 OP 的要求。

Answer 5

我建议bash:

(head -n 2; echo "..."; tail -n 2) < file

输出：

1 2 ... 9 10