ANTLR 中的空格有什么问题？

Question

我有非常简单的 XML (HTML) 解析 ANTLR 语法：

wiki: ggg+;

ggg: tag | text;

tag: '<' tx=TEXT { System.out.println($tx.getText()); } '>';

text: tx=TEXT { System.out.println($tx.getText()); };

CHAR: ~('<'|'>');
TEXT: CHAR+;

有了这样的输入："<ggg> fff" 它工作正常。

但是当我开始处理空格时它失败了。例如：

• " <ggg> fff " - 开始失败
• "<ggg> <hhh> " - 在<ggg> 之后失败
• "<ggg> fff " - 工作正常
• "<ggg> " - 最后失败

我不知道出了什么问题。也许有一些特殊的语法选项来处理这个问题。 ANTLRWorks 给了我NoViableAltException。

Answer 1

ANTLR 的词法分析器规则尽可能匹配。只有当 2 个（或更多）规则匹配相同数量的字符时，首先定义的规则才会“获胜”。因此，除了'<' 和'>' 之外的单个字符被标记为CHAR 标记，而不是TEXT 标记，无论解析器“需要”什么（词法分析器独立于解析器运行，记住这一点！）。除了'<' 和'>' 之外，只有两个或更多字符被标记为（单个）TEXT 标记。

因此，输入 " <ggg> fff " 创建以下 5 个标记：

type    | text
--------+-----------
CHAR    |   ' '
'<'     |   '<'
TEXT    |   'ggg'
'>'     |   '>'
TEXT    |   ' fff '

并且由于令牌CHAR 未在您的解析器规则中考虑，因此解析失败。

只需删除 CHAR 并执行以下操作：

TEXT : ~('<'|'>')+;

Answer 2

你没有令牌来处理这个空间。词法分析器的空格与它可能遇到的任何其他字符没有什么不同。

如果空格不重要，您可以简单地使用：

WHITESPACE : ( '\t' | ' ' | '\r' | '\n'| '\u000C' )+    { $channel = HIDDEN; } ;

如果空格对您很重要：

WHITESPACE : ( '\t' | ' ' | '\r' | '\n'| '\u000C' )+
CHAR: ~('<'|'>');
TEXT: (CHAR|WHITESPACE)+;