在单引号字符串内的词法分析器规则中否定两个相似字符的语法

Question

ANLTR 4：

我需要支持带有转义字符的单引号字符串文字以及使用双花括号作为需要额外解析的“转义序列”的能力。所以这两个例子都需要支持。我不太担心第二个例子，因为如果我能让第一个例子工作并且不匹配双花括号字符，这似乎微不足道。

1. 'this is a string literal with an escaped\' character' 2. 'this is a string {{functionName(x)}} literal with double curlies'

StringLiteral 
: '\'' (ESC | AnyExceptDblCurlies)*? '\'' ;

fragment 
ESC : '\\' [btnr\'\\];

fragment 
AnyExceptDblCurlies 
: '{' ~'{' 
| ~'{' .;

我对此进行了大量研究，并了解您不能否定多个字符，甚至在 Bart 在这篇文章中的回答中看到了类似的方法...

Negating inside lexer- and parser rules

但我看到的是，在上面的示例 1 中，转义的单引号未被识别，并且我收到一个解析器错误，它无法匹配“字符”。

如果我将字符串文字标记规则更改为以下内容...

StringLiteral 
: '\'' (ESC | .)*? '\'' ;

任何想法如何更好地处理这种情况？我可以推断出转义字符被 AnyExceptDblCurlies 而不是 ESC 匹配，但我不知道如何解决这个问题。

Answer 1

从字符串中解析模板定义几乎需要在解析器中进行处理。使用词法分析器模式来区分字符串字符和模板名称。

解析器：

options {
    tokenVocab = TesterLexer ;
}

test : string EOF ;
string   : STRBEG ( SCHAR | template )* STREND ; // allow multiple templates per string
template : TMPLBEG TMPLNAME TMPLEND ;

词法分析器：

STRBEG : Squote -> pushMode(strMode) ;

mode strMode ;
    STRESQ  : Esqote  -> type(SCHAR) ; // predeclare SCHAR in tokens block
    STREND  : Squote  -> popMode ;
    TMPLBEG : DBrOpen -> pushMode(tmplMode) ;
    STRCHAR : .       -> type(SCHAR) ;

mode tmplMode ;
    TMPLEND  : DBrClose  -> popMode ;
    TMPLNAME : ~'}'*  ;

fragment Squote : '\''   ;
fragment Esqote : '\\\'' ;
fragment DBrOpen   : '{{' ;
fragment DBrClose  : '}}' ;

更新以更正 TMPLNAME 规则，添加主规则和选项块。