ANTLR 4 中词法分析器和解析器规则中“\n”的模糊引用

Question

首先：这不是语法错误！我的语法文件没有任何错误！ 我想为我的程序编写一个 C# 语法。我从 CodePlex 下载了这个语法： ANTLR C# 4.0 Grammar 我还没有为 ANTLR 4 找到更好的 C# 语法。该语法不支持对我的程序非常重要的文档 cmets。这个语法跳过了所有的cmets，所以我删除了文档cmets的跳过，写了我的文档cmets的代码，但是我不知道怎么说，在“\n”之后必须是“/// ”。恐怕词法分析器在识别“\ n”时会自动跳过词汇符号并且永远不会匹配： ('\n' '///')？在我的解析器规则中。有谁知道，如何解决这个问题？或者谁能​​向我解释一下，我的代码是正确的，如果是的话？

这是我的文档 cmets 的解析器规则：

//documentation comments
doc_comment :
'///' (  summary remarks?
        |remarks
        );
summary :
    '<summary' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* tag_body+ (('\n' '///')* comment_text ('\n' '///')*)* '</summary>';
remarks :
    '<remarks' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</remarks>';
tag_body :   '<c' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</c>'
            |'<code' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</code>'
            |'<example' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</example>'
            |'<exception' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</exception>'
            |'<include' 'file' '=' '\'' comment_text '\'' 'path' '=' '\'' comment_text ('[' '@name' '=' '"'identifier '"' ']')? '\'' '/' '>'
            |'<list' 'type' '=' ('"bullet"' | '"number"' | '"table"') '>' ('\n' '///')* listheader? listitem? '</list>' 
            |'<para' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</para>' 
            |'<param' 'name' '=' '"' identifier '"' '>' (('\n' '///')* comment_text ('\n' '///')*)* '</param>'
            |'<paramref' 'name' '=' '"' comment_text '"' '/' '>'
            |'<permission' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</permission>'
            |'<returns' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</returns>'
            |'<see' cref '/' '>'
            |'<seealso' cref '/' '>'
            |'<typeparam' 'name' '=' '"' comment_text '"' '>' (('\n' '///')* comment_text ('\n' '///')*)* '</typeparam>'
            |'<typeparamref' 'name' '=' '"' comment_text '"' '/' '>'
            |'<value' cref? '>' (('\n' '///')* comment_text ('\n' '///')*)* '</value>';
cref : 'cref' '=' '"' comment_text '"' ;
listheader : '<listheader>' ('<term>' (('\n' '///')* comment_text ('\n' '///')*)* '</term>')? ('<description>' (('\n' '///')* comment_text ('\n' '///')*)* '</description>')? '</listheader>';
listitem : '<listitem>' ('<term>' (('\n' '///')* comment_text ('\n' '///')*)* '</term>')? ('<description>' (('\n' '///')* comment_text ('\n' '///')*)* '</description>')? '</listitem>';

这里有一个用于空格 (WS) 的词法分析器规则、一个用于 comment_text 的解析器规则和一个用于注释字符 (ANY_CHARS) 的词法分析器规则：

WS:
    (' '  |  '\r'  |  '\t'  |  '\n'  ) -> skip;
comment_text : ANY_CHARS;
fragment ANY_CHARS: (.)*;

感谢回复！

皮特

Answer 1

我确信理论上可以在解析文件的其余部分的同时解析 XML 文档 cmets，但这是维护的噩梦，尤其是对于词法分析器规则。例如，您将如何处理以下情况？

/// <see
///      cref="Something"
/// />

您应该执行以下操作，而不是采用这种方法。

1. 将所有文档评论令牌移动到他们自己的频道。

   @members {
       public const int DocCommentsChannel = 2;
   }
   
   DOC_COMMENT : '///' ~[\r\n]* -> channel(DocCommentsChannel);
   LINE_COMMENT : '//' ~[\r\n]* -> channel(HIDDEN);
   

2. 解析后，编写代码检查ITokenStream 上的所有令牌实例，以获取导致某些项目声明的DocCommentsChannel 通道上的令牌，并将它们作为一个组进行处理。使用单独的解析器。这将通过从每行中删除前导 /// 字符并将生成的文本块作为根元素的主体（如 <Comment>{Your comment text here}</Comment>）来创建注释的内存中 XML 表示来最容易地执行。然后，您可以调用 XDocument.Parse 来加载评论并在您认为合适的时候从那里处理它。