将解析树转换为 AST

Question

让我先提出一个问题：我可以将实现这种特定语法的解析树简单地转换为 AST。

我被赋予了构建解析树的语法：

literal := INTEGER | FLOAT | TRUE | FALSE .

designator := IDENTIFIER { "[" expression0 "]" } .

op0 := ">=" | "<=" | "!=" | "==" | ">" | "<" .
op1 := "+" | "-" | "or" .
op2 := "*" | "/" | "and" .

expression0 := expression1 [ op0 expression1 ] .
expression1 := expression2 { op1  expression2 } .
expression2 := expression3 { op2 expression3 } .
expression3 := "not" expression3
       | "(" expression0 ")"
       | designator
       | call-expression
       | literal .

对于这个特定的例子：

func main() : void {
    let a = 1 + 2 + 3 + 4;
}

我的解析器将生成（部分）解析树

            EXPRESSION1
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(1)(lineNum:2, charPos:10)
                OP1
                  ADD(lineNum:2, charPos:12)
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(2)(lineNum:2, charPos:14)
                OP1
                  ADD(lineNum:2, charPos:16)
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(3)(lineNum:2, charPos:18)
                OP1
                  ADD(lineNum:2, charPos:20)
                EXPRESSION2
                  EXPRESSION3
                    LITERAL
                      INTEGER(4)(lineNum:2, charPos:22)

请注意 EXPRESSION1 下的这些树枝是如何运行的：

EXPRESSION2 + EXPRESSION2 + EXPRESSION2 + EXPRESSION2

运算符 + 不对应它的两个操作数。所以在我看来，在 AST 转换中，我无法通过简单地拉起操作符来替换非终端 EXPRESSION1 来帮助生成 3 地址 IR 代码的 AST。

为了实现这个目标，我为这种语言编写的语法会变成这样

expression1 := expression2 | expression1 + expression2  (1)
expression2 := expression3 | expression2 * expression3  (2)
expression3 := literal                                  (3)

EXPRESSION1下的分支只有哪些

EXPRESSION1 + EXPRESSION2

然而，这个文法不是 LL(1)，因为 |FIRST(expression2)| = |{字面量，+}| > 1.

这引出了一个问题，即 (1) 转换此解析树的最优雅和最简单的方法是什么？ (2) 对于我应该开始编写 AST 的语法，我构建解析树是否完全浪费了时间？

Answer 1

我相信您希望生成这样的 AST：

     ADD
     /  \
    1   ADD
        /  \  
       2   ADD
           / \
          3   4

但您可能注意到，您的解析树实际上是一个平面列表，并不代表一个简单的起点，可以将运算符及其操作数一次性分组。无论如何，编写一个更高级的解析器、识别树结构和应用语法简化都不是一件容易的事。

因此，在开始之前，您可能希望考虑一些现有的解析器生成器，如 yacc 或 ANTLR。可能您需要重写语法以创建以运算符为中心的规则，而不是将它们视为递归实用程序。不是经典 LL(1) 的语法可能不是一个大问题，因为现代生成器（如 ANTLR）可以处理具有更大前瞻、谓词等的 LL(k) 语法，并且只是绕过该类型的问题。

如果您仍然坚持手动编码，请考虑使用堆栈来存储符号，并在收集到表达式后将它们转换为 AST 节点，但这又不是一项简单的任务。