是否有可能有一个“关键字”也可以被视为“非关键字”的语法？

Question

我在 ANTLRWorks 1.4 中有以下语法。我正在尝试在文本冒险游戏创建者中实现解析器的想法，用户将在其中为他的游戏指定各种允许的命令。

grammar test;

parse       :   cmd EOF;


cmd         :   putSyn1 gameObject inSyn1 gameObject;

putSyn1     :   Put | Place | Drop ;

inSyn1      :   In | Into | Within;


gameObject  :   det obj;

det         :   The | A | An | ;

obj          :  Word obj | Word;


Space       :       (' ' | '\t' | '\r' | '\n'){$channel=HIDDEN;};
Put         :   'put';
Place       :   'place';
Drop        :   'drop';
In          :   'in';
Into        :   'into';
Within      :   'within';
The         :   'the';
A           :   'a';
An          :   'an';

Word        :   ('a'..'z' | 'A'..'Z')+;

我只是对所涉及的各种微妙之处有所了解（就像我所做的 here）。

这一次，使用 ANTLR，我想知道我是否可以解析输入，例如：

put wood in fire place

即“木头”和“火场”是上面的游戏对象。但是，“地方”也是“放置”的同义词。所以这同样有效：

place wood in fire place

尝试解析最后一个“地点”标记时，ANTLR 给了我一个 NoViableAltException。我想将“火场”识别为游戏对象。

那么这种事情在 ANTLR 中是可能的吗？语法上可以吗？

另一方面，我正在开发一个手动实现，它使用一种奇怪的自定义数据结构，其中包含一些 NFA、Dictionary 和诸如此类的东西。但我仍然需要更多时间，并且必须牺牲一些脑细胞来设计所需的搜索和插入算法。

但如果这在 ANTLR 中是可能的，我可以只使用生成的 C# 文件，是吗？

Answer 1

当然。 PL/1 以没有任何保留字而闻名，例如，您可以在不需要作为关键字的任何地方使用关键字（例如，IF）作为变量名：

 IF  IF = 1  THEN  ELSE=3;  ELSE END=4;

构建执行此操作的解析器更加困难。您不能在词法分析器中“简单地”执行此操作，因为它不知道标识符可能是关键字的上下文。

有几种方法。当找到类似实体的标识符时：

1) 让词法分析器询问解析器，“你现在想要一个关键字吗？”。在这种情况下，产生一个关键字。让解析器在这里合作可能很困难。也可能是解析器不知道，因为它必须看到更多的输入才能做出决定。考虑 Fortran 著名的格式声明：

     FORMAT ( A1, I2, ... ) X

当你看到“FORMAT”这个词时，你无法分辨它是关键字还是标识符；您必须任意向前扫描才能检查 X。如果 X 不是语句的结尾，则 FORMAT 字是数组标识符的名称；如果 X 是语句结束，它是一个 FORMAT 关键字和语句。

2) 发出关键字（如果标识符匹配一个）和标识符，并让解析器尝试两者。大多数解析器都不能很好地处理这个问题，但如果设计合理，GLR parsers 可以沉着地处理这个问题。这通过推动解析器的前瞻能力来处理 FORMAT 问题。 （ANTLR 不是 GLR。我们的DMS Software Reengineering Toolkit 正好有这样一个 GLR 解析器，我们经常使用这个技巧）。

3) 将所有类似标识符的东西放入一个哈希表中。使用递归下降解析器（ANTLR 就是其中之一）；当解析器需要一个关键字时，它只是检查它得到的标识符以验证它是它需要的关键字。如果它不需要关键字，它只是使用标识符作为标识符。我不知道如何用 ANTLR 实现这个技巧，因为我不使用它。这不能很好地处理“没有前瞻就无法决定”的情况。

Answer 2

我会用词法分析器而不是解析器来处理这样的事情——让词法分析器做一个“最大咀嚼”，所以它把“壁炉”识别为一个单独的标记，并且只将“地方”识别为一个单独的标记如果它不是紧跟在“fire”之前的标记。

这样，解析器就不必注意到输入中的相同字符序列碰巧形成了两个完全独立的标记的全部或部分。