Yacc 语法产生不正确的终端

Question

我一直在研究一个爱好编译器，在解析阶段使用 lex 和 yacc。这对大多数事情来说都很好，但是当我添加 if 语句时，符号的产生规则现在给出堆栈上的上一个（或下一个？）项目，而不是所需的符号值。

语法如下，希望去掉不相关的规则：

%{
       ...
%}


    %define parse.error verbose


    %token ...

    %%


    Program:
            Function                                            { root->addChild($1);}      
            ;


    Function:
            Type Identifier '|' ArgumentList '|' StatementList END
                                                                { $$ = new FunctionDef($1, $2, $4, $6); }


    /******************************************/
    /* Statements and control flow ************/
    /******************************************/

    Statement:
            Expression Delimiter
            | VariableDeclaration Delimiter
            | ControlFlowStatement Delimiter
            | Delimiter
            ;

    ControlFlowStatement:
            IfStatement
            ;

    IfStatement:
            IF Expression StatementList END                       { $$ = new IfStatement($2, $3); }
            | IF Expression StatementList ELSE StatementList END  { $$ = new IfStatement($2, $3, $5);}
            ;

    VariableDeclaration:
            Type Identifier                                     { $$ = new VariableDeclaration($1, $2);}
            | Type Identifier EQUALS Expression                 { $$ = new VariableDeclaration($1, $2, $4);}
            ;

    StatementList:
            StatementList Statement                             { $1->addChild($2);             }
            | Statement                                         { $$ = new GenericList($1);     }
            ;


    Delimiter:
            ';'
            | NEWLINE
            ;
    Type:
           ...
Expression:
    ...

    PostfixExpression:
            Value '[' Expression ']'                            { std::cout << "TODO: indexing operators ([ ])" << std::endl;}
            | Value '.' SYMBOL                                  { std::cout << "TODO: member access" << std::endl;}
            | Value INCREMENT                                   { $$ = new UnaryExpression(UNARY_POSTINC, $1);  }
            | Value DECREMENT                                   { $$ = new UnaryExpression(UNARY_POSTDEC, $1);  }
            | Value '(' ')'                                     { $$ = new FunctionCall($1, NULL);    }
            | Value '(' ExpressionList ')'                      { $$ = new FunctionCall($1, $3);                }
            | Value
            ;


    Value:
            BININT                                              { $$ = new Integer(yytext, 2);                  }
            | HEXINT                                            { $$ = new Integer(yytext, 16);                 }
            | DECINT                                            { $$ = new Integer(yytext);                     }
            | FLOAT                                             { $$ = new Float(yytext);                       }
            | SYMBOL                                            { $$ = new Symbol(yytext);                      }
            | STRING                                            { $$ = new String(yytext);                      }
            | LambdaFunction
            | '(' Expression ')'                                { $$ = $2;                                      }
            | '[' ExpressionList ']'                            { $$ = $2;}
            ;

    LambdaFunction:
            ...


    %%

我无法弄清楚控制流代码可以制作符号： 规则匹配未归类为 lex 定义中的符号的内容：

symbol                      [a-zA-Z_]+(alpha|digit)*
...
{symbol}                    {return SYMBOL;}

任何了解 yacc 和一般语法的人的帮助将不胜感激。如果需要，还可以显示它解析的语法示例文件。

谢谢！

Answer 1

你不能指望在弹性动作之外的yytext 的值。

Bison 语法通常会在决定如何继续之前读取前瞻标记，因此在 bison 操作中，yytext 已被替换为前瞻标记的标记值。 （不过，您也不能指望这一点：有时不需要前瞻令牌。）

因此，您需要在 flex 操作返回之前制作 yytext 的副本，并将该副本放入 yylval 语义联合中，以使该副本可用于野牛语法。

看到这个bison FAQ entry

---

顺便说一句，您的 flex 文件中的以下 sn-p 不正确：

symbol                      [a-zA-Z_]+(alpha|digit)*

在那个正则表达式中，alpha 和digit 只是普通字符串，所以它和[a-zA-Z_]+("alpha"|"digit")* 相同，这意味着它会匹配，例如a_digitdigitdigit，而不是a_123。 （如果没有+ 后面的部分，它会匹配a_digitdigitdigit，所以我认为这不是你的意图。）

总的来说，我认为使用 Posix 字符类比使用手写字符类或定义的符号更好，所以我会这样写

symbol    [[:alpha:]_]([[:alnum:]_]*[[:alnum:]])?

假设您的意图是符号可以以下划线开头但不能以下划线结尾，以数字结尾但不能以数字开头。使用 Posix 字符类需要您使用正确的语言环境（几乎可以肯定是 C 语言环境）执行 flex，但字符范围也是如此，因此使用自记录 Posix 类不会丢失任何内容.

（当然，我不知道你对{alpha} 和{digit} 的定义是什么，但在我看来它们与[[:alpha:]] 和[[:digit:]] 相同，在这种情况下它们是多余的，或者与 Posix 类不同，在这种情况下它们会让读者感到困惑。）