多个 sed 命令：何时分号，何时管道？

Question

当我在sed中构造一个复杂的操作时，我经常从

cat infile | sed 'expression1' | sed 'expr2' ...

然后优化成

cat infile | sed 'expr1;expr2;expr3' | sed 'expr4' | sed 'expr5;expr6' ...

有哪些准则可以将表达式与分号组合成一个命令？ 到目前为止，我只是临时组合s///'s，而不是组合//d's。

（优化是为了运行几千万次。没错，就是measurably faster。）

（在此处而不是在 superuser.com 上发布，因为关于 sed 的问题要少 20 倍。）

Answer 1

您正在执行的操作在每种情况下都完全不同。

当您使用管道“组合” sed 命令时，每次调用 sed 都会处理整个文件。这会产生为管道的每个部分启动单独流程的成本。

当您使用以分号分隔的命令列表时，每个命令将依次应用于文件中的每一行，使用单个 sed 实例。

根据您使用的命令，这两件事的输出可能会有很大不同！

如果您不喜欢使用分号来分隔命令，我会建议另一种选择：使用sed -e 'expr1' -e 'expr2' -e 'expr3' file。或者，包括 sed 在内的许多工具都支持 -f 来传递包含命令的文件。为了清楚起见，您可以将每个命令放在换行符上，而不是使用分号。

Answer 2

一般s和d可以和平共处。当不同的命令相互交互时，您可能不得不分解并使用单独的脚本，或者切换到具有变量等的更丰富的语言。

例如，一个sed 脚本将数千个分隔符添加到缺少它们的数字上，可能应该与其他处理完全分开。从长远来看，模块化可能比任何可能的效率提升更重要。

Answer 3

有哪些准则可以将表达式与分号组合成一个命令？到目前为止，我只是临时组合 s///'s，而不是组合 //d's。

sed 的命令远不止s 和d。但是，如果这些是您唯一使用的，那么您可以在同一 sed 运行中加入任意数量的用户。结果将与多个单命令seds 的管道相同。但是，如果您要这样做，请考虑使用命令文件，如@anubhava 建议的那样，或者通过自己的-e 参数给出每个独立的表达式；任何一个都比由多个分号分隔的命令组成的单个表达式要清晰得多。

即使您使用其他命令，在大多数情况下，通过单个 sed 进程执行一系列命令会得到与通过单独的 sed 以相同顺序执行相同命令相同的结果过程。我能想到的主要例外涉及必须相互依赖的命令，例如标签和分支；操纵保持空间及其周围的命令；分组在大括号内的命令 ({})；以及sed -n 下的p 命令。

话虽如此，sed 程序很快就会变得非常神秘。如果您正在编写一个复杂的转换，那么请考虑仔细采纳@EdMorton 的建议并将整个内容编写为（单个）awk 程序，而不是一个或多个sed 程序。

Answer 4

最好避免使用多个sed

sed -f mycmd.awk

mycmd.awk 将包含在单独的行中列出的每个 sed 命令。

根据man sed：

-f command_file
将文件 command_file 中的编辑命令附加到命令列表中。编辑命令应分别列在单独的行上。