正则表达式替换：到“：”等

Question

我有一堆字符串，例如：

"Hello, here's a test colon:. Here's a test semi-colon&#59;"

我想将其替换为

"Hello, here's a test colon:. Here's a test semi-colon;"

等等所有printable ASCII values。

目前我正在使用boost::regex_search 匹配&#(\d+);，在依次处理每个匹配项时构建一个字符串（包括附加自上次找到的匹配项以来不包含匹配项的子字符串）。

谁能想到更好的方法？我对非正则表达式方法持开放态度，但在这种情况下，正则表达式似乎是一种相当明智的方法。

谢谢，

Dom

Answer 1

使用正则表达式的最大优点是处理像& 这样的棘手情况，实体替换不是迭代的，它是一个步骤。正则表达式也将相当有效：两个前导字符是固定的，因此它会快速跳过不以&# 开头的任何内容。最后，正则表达式解决方案对于未来的维护者来说不会有太多惊喜。

我会说正则表达式是正确的选择。

这是最好的正则表达式吗？你知道你需要两个数字，如果你有 3 个数字，第一个数字是 1。可打印的 ASCII 毕竟是 -~。因此，您可以考虑&#1?\d\d;。

至于替换内容，我会使用basic algorithm described for boost::regex::replace：

For each match // Using regex_iterator<>
    Print the prefix of the match
    Remove the first 2 and last character of the match (&#;)
    lexical_cast the result to int, then truncate to char and append.

Print the suffix of the last match.

Answer 2

这可能会为我赢得一些反对票，因为这不是 c++、boost 或正则表达式响应，但这是一个 SNOBOL 解决方案。这个适用于 ASCII。我正在为 Unicode 做一些事情。

        NUMS = '1234567890'
MAIN    LINE = INPUT                                :F(END)
SWAP    LINE ?  '&#' SPAN(NUMS) . N ';' = CHAR( N ) :S(SWAP)
        OUTPUT = LINE                               :(MAIN)
END

Answer 3

* Repaired SNOBOL4 Solution
* & -> &
     digit = '0123456789'
main line = input                        :f(end)
     result = 
swap line arb . l
+    '&#' span(digit) . n ';' rem . line :f(out)
     result = result l char(n)           :(swap)
out  output = result line                :(main)
end

Answer 4

我不知道 boost 中的正则表达式支持，但请检查它是否具有支持回调或 lambda 等的 replace() 方法。这是使用其他语言的正则表达式执行此操作的常用方法。

这是一个 Python 实现：

s = "Hello, here's a test colon:. Here's a test semi-colon&#59;"
re.sub(r'&#(1?\d\d);', lambda match: chr(int(match.group(1))), s)

制作：

"Hello, here's a test colon:. Here's a test semi-colon;"

我现在看过一些 boost，我发现它有一个 regex_replace 函数。但是 C++ 真的让我很困惑，所以我不知道你是否可以对替换部分使用回调。但是，如果我正确阅读了 boost 文档，则 (\d\d) 组匹配的字符串应该在 $1 中可用。如果我使用 boost，我会检查一下。

Answer 5

现有的 SNOBOL 解决方案不能正确处理多模式的情况，因为只有一个“&”。以下解决方案应该会更好：

        dd = "0123456789"
        ccp = "#" span(dd) $ n ";" *?(s = s char(n)) fence (*ccp | null)
   rdl  line = input                              :f(done)
   repl line "&" *?(s = ) ccp = s                 :s(repl)
        output = line                             :(rdl)
   done
   end

Answer 6

你知道，只要我们离开这里，perl 替换就有一个 'e' 选项。如评估表达式。例如

echo "你好，这是一个测试冒号:。这是一个测试分号;
进一步测试 A.abc.~.def。"
| perl -we 'sub translate { my $x=$_[0]; if ( ($x >= 32) && ($x { return sprintf("%c",$x); } else { return "".$x.";"; } }
while () { s/(1?\d\d);/&translate($1)/ge;打印; }'

漂亮的印刷品：

#!/usr/bin/perl -w

sub translate
{
  my $x=$_[0];

  if ( ($x >= 32) && ($x <= 126) )
  {
    return sprintf( "%c", $x );
  }
  else
  {
    return "&#" . $x . ";" ;
  }
}

while (<>)
{
  s/&#(1?\d\d);/&translate($1)/ge;
  print;
}

虽然 perl 是 perl，但我相信还有更好的写法...

---

返回 C 代码：

您也可以滚动自己的有限状态机。但这会变得杂乱无章，以后维护起来也很麻烦。

Answer 7

这是 Perl 的另一个单行代码（参见 @mrree's answer）：

• 一个测试文件：

$猫ent.txt 你好，这是一个测试冒号:。 这是一个测试分号; 'ƒ'

• 单线：

$ perl -pe's~(1?\d\d);~ > sub{ return chr($1) if (31 ()~eg' ent.txt

• 或使用更具体的正则表达式：

$ perl -pe"s~(1(?:[01][0-9]|2[0-6])|3[2-9]|[4-9][0-9]);~chr ($1)~eg" ent.txt

• 两个单行程序产生相同的输出：

你好，这是一个测试冒号：。 这是一个测试分号； 'ƒ'

Answer 8

boost::spirit 解析器生成器框架允许轻松创建一个解析器来转换所需的NCRs。

// spirit_ncr2a.cpp
#include <iostream>
#include <string>
#include <boost/spirit/include/classic_core.hpp>

int main() {
  using namespace BOOST_SPIRIT_CLASSIC_NS; 

  std::string line;
  while (std::getline(std::cin, line)) {
    assert(parse(line.begin(), line.end(),
         // match "&#(\d+);" where 32 <= $1 <= 126 or any char
         *(("&#" >> limit_d(32u, 126u)[uint_p][&putchar] >> ';')
           | anychar_p[&putchar])).full); 
    putchar('\n');
  }
}

• 编译：

$ g++ -I/path/to/boost -o spirit_ncr2a spirit_ncr2a.cpp

• 运行：

$ echo "你好，这里是一个测试冒号:。" |精神_ncr2a

• 输出：

“你好，这是一个测试冒号：。”

Answer 9

我确实认为我很擅长正则表达式，但我从未见过在正则表达式中使用过 lambda，请赐教！

我目前正在使用 python，并且可以用这个 oneliner 解决它：

''.join([x.isdigit() and chr(int(x)) or x for x in re.split('&#(\d+);',THESTRING)])

这有意义吗？

Answer 10

这是使用Flex 创建的 NCR 扫描仪：

/** ncr2a.y: Replace all NCRs by corresponding printable ASCII characters. */
%%
&#(1([01][0-9]|2[0-6])|3[2-9]|[4-9][0-9]); { /* accept 32..126 */
  /**recursive: unput(atoi(yytext + 2)); skip '&#'; `atoi()` ignores ';' */
  fputc(atoi(yytext + 2), yyout); /* non-recursive version */
}

制作可执行文件：

$ flex ncr2a.y
$ gcc -o ncr2a lex.yy.c -lfl

例子：

$ echo "Hello,  here's a test colon:. 
> Here's a test semi-colon&#59; 'ƒ'
> &#38;#59; <-- may be recursive" \
> | ncr2a

它为非递归版本打印：

你好，这是一个测试冒号：。 这是一个测试分号； 'ƒ' ;

递归的产生：

你好，这是一个测试冒号：。 这是一个测试分号； 'ƒ' ;

Answer 11

这是原始问题陈述显然不是很完整的情况之一，但如果您真的只想触发产生 32 到 126 之间字符的情况，那是对解决方案的一个微不足道的改变较早发布。请注意，我的解决方案还可以处理多模式情况（尽管第一个版本不会处理某些相邻模式在范围内而其他模式不在范围内的情况）。

      dd = "0123456789"
      ccp = "#" span(dd) $ n *lt(n,127) *ge(n,32) ";" *?(s = s char(n))
 +      fence (*ccp | null)
 rdl  line = input                              :f(done)
 repl line "&" *?(s = ) ccp = s                 :s(repl)
      output = line                             :(rdl)
 done
 end

处理这种情况并不是特别困难（例如 ;#131;#58; 也会产生“;#131;:”：

      dd = "0123456789"
      ccp = "#" (span(dd) $ n ";") $ enc
 +      *?(s = s (lt(n,127) ge(n,32) char(n), char(10) enc))
 +      fence (*ccp | null)
 rdl  line = input                              :f(done)
 repl line "&" *?(s = ) ccp = s                 :s(repl)
      output = replace(line,char(10),"#")       :(rdl)
 done
 end

Answer 12

这是基于boost::regex_token_iterator 的版本。该程序将从stdin读取的十进制NCRs替换为相应的ASCII字符并将它们打印到stdout。

#include <cassert>
#include <iostream>
#include <string>
#include <boost/lexical_cast.hpp>
#include <boost/regex.hpp>

int main()
{
  boost::regex re("&#(1(?:[01][0-9]|2[0-6])|3[2-9]|[4-9][0-9]);"); // 32..126
  const int subs[] = {-1, 1}; // non-match & subexpr
  boost::sregex_token_iterator end;
  std::string line;

  while (std::getline(std::cin, line)) {
    boost::sregex_token_iterator tok(line.begin(), line.end(), re, subs);

    for (bool isncr = false; tok != end; ++tok, isncr = !isncr) {
      if (isncr) { // convert NCR e.g., '&#58;' -> ':'
        const int d = boost::lexical_cast<int>(*tok);
        assert(32 <= d && d < 127);
        std::cout << static_cast<char>(d);
      }
      else
        std::cout << *tok; // output as is
    }
    std::cout << '\n';
  }
}