【问题标题】:ANTLR help - can't parse a normal text but all the other more complex rules workANTLR 帮助 - 无法解析普通文本,但所有其他更复杂的规则都有效
【发布时间】:2011-11-08 22:51:30
【问题描述】:

我有一个非常简单的语法——它解析用户为各种关键字输入的一堆文本,然后对这些关键字进行字符串替换,同时让所有其他文本保持“原样”。

基本上,这个语法对大部分文本都不应该做任何事情......它应该只是回显那个文本......除非它遇到${...}$video{...}$image{...}$audio{...}

我的语法现在大部分都可以使用,但它无法使用 chunk 规则解析像 hey 这样的普通文本,但由于某种原因,它使用 chunk<p>hey</p> /strong> 规则。为什么?如何让两者都使用 chunk 规则?

基本上,我希望 CHUNK 捕获其他规则未拾取的所有其他内容。

我稍微重构了语法以使一切更加清晰。 everythingElse 似乎与 label 混淆了?我不知道,但hey 不起作用:(

grammar Text;

@header {
}

@members {
    int numberOfVideos = 0;
    StringBuilder builder = new StringBuilder();

    public String getResult() {
        return builder.toString();
    }
}

text
    :   expression*
    ;

expression
    :   fillInTheBlank 
        {
            builder.append($fillInTheBlank.value);
        }
    |   image 
        {
            builder.append($image.value);
        }
    |   video
        {
            builder.append($video.value);
        }
    |   audio
        {
            builder.append($audio.value);
        }
    |   anchor
        {
            builder.append($anchor.value);
        }
    |   everythingElse
        {
            builder.append($everythingElse.value);
        }
    ;

fillInTheBlank returns [String value]
    :   '${' LABEL '}' 
        {
            $value = "<input type=\"text\" id=\"" +
                $LABEL.text +
                "\" name=\"" + 
                $LABEL.text +
                "\" class=\"FillInTheBlankAnswer\" />";
        }
    ;

image returns [String value]
    :   '$image{' URL '}'
        {
            $value = "<img src=\"" + $URL.text + "\" />";
        }
    ;

video returns [String value]
    :   '$video{' URL '}'
        {
            numberOfVideos++;

            StringBuilder b = new StringBuilder();
            b.append("<div id=\"video1\">Loading the player ...</div>\r\n");
            b.append("<script type=\"text/javascript\">\r\n");
            b.append("\tjwplayer(\"video" + numberOfVideos + "\").setup({\r\n");
            b.append("\t\tflashplayer: \"/trainingdividend/js/jwplayer/player.swf\", file: \"");
            b.append($URL.text);
            b.append("\"\r\n\t});\r\n");
            b.append("</script>\r\n");

            $value = b.toString();
        }
    ;

audio returns [String value]
    :   '$audio{' URL '}'
        {
            $value = $URL.text;
        }
    ;   

anchor returns [String value]
    :   URL
        {
            $value = "<a href=\"" + $URL.text + "\">" + $URL.text + "</a>";
        }
    ;   

everythingElse returns [String value]
    :   CHUNK
        {
            $value = $CHUNK.text;
        }
    ;

LABEL
    :   ('a'..'z'|'A'..'Z') ('a'..'z'|'A'..'Z'|'0'..'9')*
    ;
URL
    :   'http://' ('a'..'z'|'A'..'Z'|'0'..'9'|'.'|'/'|'-'|'_'|'%'|'&'|'?')+
    ;
CHUNK
    //: (~('${'|'$video{'|'$image{'|'$audio{'))+
    :   ('a'..'z'|'A'..'Z'|'0'..'9'|'-'|' '|','|'.'|'?'|'\''|':'|'\t'|'\n'|'\r'|'\"'|'>'|'<'|'/'|'_'|'='|';'|'('|')'|'&')+
    ;

我是 antlr 的新手 - 使用了大约一天,所以请不要指望我对它了解很多。

【问题讨论】:

  • 如果删除“| CHUNK”之前的“| URL”大小写会怎样?
  • 无法重现 - ANTLRworks 调试器显示解析树根 -> 文本 -> 表达式 -> example.com
  • @polkageist:是的,看来我解决了 URL 问题……但我发现问题比 URL 更普遍(我的错……我直到现在才意识到)。现在像 hey 这样的基本文本不适用于此语法,但 &lt;p&gt;hey&lt;/p&gt; 有效。
  • @egervari:是的,那是因为 LITERAL 是 CHUNK 的一个特例。您还需要为 LITERAL 添加规则。
  • @polkagiest: Hrm... ANTLR 不够聪明,无法知道 LITERAL(我现在将其重命名为 LABEL,对此感到抱歉)仅在 ${...} 之间使用?当它不在${...} 中时,它不应该总是假设它是一个 CHUNK 吗?

标签: java parsing antlr grammar


【解决方案1】:

由于空间限制和缺乏格式化的可能性,我选择了这种方式来回应。所以,无论如何:

不。 CHUNK 和 LABEL 是 Lexer(扫描器)规则,而 fillInTheBlank 是解析器规则。解析器在扫描器的顶部操作,也就是说,扫描器不知道解析器(规则)。你必须引入lexer states

首先,您必须引入一个额外的词法分析器成员来保持状态,告诉您是否要读取标签:

@lexer::members {
    private boolean readLabel = false;
}

然后,您必须为修改此状态变量的“${”和“}”(我称它们为 BEGIN_VAR 和 END_VAR)引入显式标记定义。此外,END_VAR 标记只能在 readLabel 为 true 时创建:

BEGIN_VAR
    : '${' { readLabel = true; };

END_VAR : { readLabel }?=> '}' { readLabel = false; };

您还必须告诉词法分析器 LABEL 标记也只能在这种状态下生成:

LABEL
    :   { readLabel }?=> ('a'..'z'|'A'..'Z') ('a'..'z'|'A'..'Z'|'0'..'9')*
    ;

请注意,此定义出现在 CHUNK 之前非常重要。

最后,您必须使用上述令牌定义修改您的 fillInTheBlanks 规则:

fillInTheBlank returns [String value]
    :   BEGIN_VAR LABEL END_VAR 
        { ...

希望这会有所帮助,似乎对我有用。

【讨论】:

  • 哇,我会试一试的。这肯定使用了比我什至知道的更高级的功能。这很奇怪,因为我使用 scala 解析器组合器做了一个非常相似的语法,而且我认为我不必做任何此类事情。它刚刚奏效。有趣的是,antlr 必须更加强大而复杂。我会试试看。
  • 有什么方法可以在 CHUNK 中解析 $、{ 和 },使用与上述类似的技术吗?还是那些字符“禁区”?
  • @polkageist,如果你想回答@egervari 的问题(关于标记${} 作为CHUNK's),他已经发布了here。不错的答案,顺便说一句!
  • @BartKiers:感谢您的通知和赞美;)
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-11-22
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多