为什么这个正则表达式在 sed 中的运行方式与在 Perl/Ruby 中的运行方式不同？

Question

我有一个正则表达式，它在sed 中给出了一个结果，但在 Perl（和 Ruby）中给出了另一个结果。

我有字符串one;two;;three，我想突出显示由; 分隔的子字符串。所以我在 Perl 中执行以下操作：

$a = "one;two;;three";
$a =~ s/([^;]*)/[\1]/g;
print $a;

（或者，在 Ruby 中：print "one;two;;three".gsub(/([^;]*)/, "[\\1]")。）

结果是：

[one][];[two][];[];[three][]

（我知道虚假空子字符串的原因。）

奇怪的是，当我在 sed 中运行相同的正则表达式时，我得到了不同的结果。我跑：

echo "one;two;;three" | sed -e 's/[^;]*/[\0]/g'

我得到：

[one];[two];[];[three]

造成这种不同结果的原因是什么？

编辑：

有人回答“因为sed 不是perl”。我知道。我问这个问题的原因是因为我不明白 sed 如何很好地应对零长度匹配。

Answer 1

这是一个有趣且令人惊讶的边缘案例。

你的[^;]* 模式可能匹配空字符串，所以它变成了一个哲学问题，即，两个字符之间有多少个空字符串：零，一个，还是很多？

sed

sed 匹配显然遵循“Zero–Length Regex Matches.” 的“在零长度正则表达式匹配后推进”部分中描述的理念

现在正则表达式引擎处于一个棘手的情况。我们要求它遍历整个字符串以查找所有不重叠的正则表达式匹配。第一个匹配在字符串的开头结束，第一次匹配尝试开始的地方。正则表达式引擎需要一种方法来避免陷入无限循环，该循环永远在字符串的开头找到相同的零长度匹配。

大多数正则表达式引擎使用的最简单的解决方案是，如果前一个匹配的长度为零，则在前一个匹配结束后尝试一个字符开始下一个匹配。

也就是说，字符之间有零个空字符串。

以上段落不是权威标准，引用这样的文件会更好地回答。

检查source of GNU sed，我们看到

/* Start after the match.  last_end is the real end of the matched
   substring, excluding characters that were skipped in case the RE
   matched the empty string.  */
start = offset + matched;
last_end = regs.end[0];

Perl 和 Ruby

​​>

Perl 与 s/// 的哲学，Ruby 似乎共享这一点——因此下面的文档和示例使用 Perl 来表示两者——每个字符之后正好有一个空字符串。

“Regexp Quote–Like Operators” section of the perlop 文档显示

/g 修饰符指定全局模式匹配，即在字符串中匹配尽可能多的次数。

跟踪s/([^;]*)/[\1]/g 的执行给了

1. 开始。由^ 表示的“匹配位置”位于目标字符串的开头。

    o n e ; t w o ; ; t h r e e
   ^
   

2. 尝试匹配[^;]*。

    o n e ; t w o ; ; t h r e e
         ^
   

   注意$1 中捕获的结果是one。

3. 尝试匹配[^;]*。

    o n e ; t w o ; ; t h r e e
         ^
   

   重要教训：* 正则表达式量词总是成功，因为它意味着“零或更多”。在这种情况下，$1 中的子字符串是空字符串。

比赛的其余部分按上述进行。

作为一个敏锐的读者，你现在问自己，“自己，如果* 总是成功，匹配如何在目标字符串的末尾终止，或者就此而言，它是如何超过第一个零的——长度匹配？”

我们在“Repeated Patterns Matching a Zero–length Substring” section of the perlre 文档中找到了这个尖锐问题的答案。

然而，长期经验表明，通过使用可能匹配零长度子字符串的重复子表达式，可以显着简化许多编程任务。这是一个简单的例子：

@chars = split //, $string; # // is not magic in split
($whitewashed = $string) =~ s/()/ /g; # parens avoid magic s// /

因此，Perl 通过强行打破无限循环来允许这样的构造。对于由贪心量词*+{} 给出的低级循环和/g 修饰符或split 运算符等高级循环，此规则是不同的。

…

更高级别的循环在迭代之间保留了一个附加状态：最后一次匹配是否为零长度。为了打破循环，零长度匹配之后的下一个匹配被禁止长度为零。此禁止与回溯相互作用……因此，如果最佳匹配的长度为零，则选择第二个最佳匹配。

其他 Perl 方法

通过添加否定的后向断言，您可以过滤虚假的空匹配。

  $ perl -le '$a = "one;two;;three";
              $a =~ s/(?<![^;])([^;]*)/[\1]/g;
              print $a;'
  [one];[two];[];[three]

应用 Mark Dominus 所说的 Randal’s Rule，“当您知道要保留什么时使用捕获。当您知道要丢弃什么时，请使用split。”你想扔掉分号，这样你的代码就变得更直接了

$ perl -le '$a = "one;two;;three";
            $a = join ";", map "[$_]", split /;/, $a;
            print $a;'
[one];[two];[];[three]

Answer 2

来自sed-4.2 的替代函数的源代码：

   /sed/execute.c
  /* If we're counting up to the Nth match, are we there yet?
     And even if we are there, there is another case we have to
 skip: are we matching an empty string immediately following
     another match?

     This latter case avoids that baaaac, when passed through
     s,a*,x,g, gives `xbxxcx' instead of xbxcx.  This behavior is
     unacceptable because it is not consistently applied (for
     example, `baaaa' gives `xbx', not `xbxx'). */

这表明我们在 Ruby 和 Perl 中看到的行为在 sed 中是有意识地避免的。这不是由于语言之间的任何根本差异，而是sed 中特殊处理的结果

Answer 3

在 perl（可能是 ruby​​）脚本中还有其他事情发生，因为该输出对于简单地将正则表达式作为 BRE 或 ERE 处理是没有意义的。

awk (EREs) 和 sed (BREs) 的行为与它们应有的行为一样，仅用于替换 RE：

$ echo "one;two;;three" | sed -e 's/[^;]*/[&]/g'
[one];[two];[];[three]

$ echo "one;two;;three" | awk 'gsub(/[^;]*/,"[&]")'
[one];[two];[];[three]

你说I know the reason for the spurious empty substrings.。愿意为我们提供线索吗？