在 ANTLR 中捕获“所有其他”字符

Question

我正在尝试将 ANTLR 定义的语法集成到 NetBeans 中，到目前为止，有效的语法工作正常。但是，目前如果您在某处输入任何未在该语言中定义的字符（例如，“？”字符），自定义编辑器会立即崩溃，因为它无法找到该字符的规则。

在 ANTLR 中是否有一种方法可以捕获并跳过每个与规则不匹配的字符（并可能输出错误消息），而不会导致整个词法分析器崩溃和烧毁？我只想标记无效字符，跳过它们，然后继续进行词法分析，例如：

//some rules + tokens

invalidCharacter
    :    <<catch all other characters>>
        {System.out.println("undefined character entered!")}
    ;

如有任何帮助，将不胜感激。

Answer 1

如果您只对词法分析器中的非法字符感兴趣，那么简单的方法可能会为您解决问题：

grammar T;

@lexer::members {
  public List<String> errors = new ArrayList<String>();
}

parse
  :  .* EOF
  ;

INT
  :  '0'..'9'+
  ;

WORD
  :  ('a'..'z' | 'A'..'Z')+
  ;

SPACE
  :  ' ' {$channel=HIDDEN;}
  ;

INVALID
  :  . {
         errors.add("Invalid character: '" + $text + "' on line: " +
             getLine() + ", index: " + getCharPositionInLine());
       }
  ;

如您所见，仅接受整数和 ascii 字词，所有其他字符都会导致将错误添加到词法分析器内的 List 中。使用测试类解析 "abc 123 ? foo !" 之类的字符串时：

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    TLexer lexer = new TLexer(new ANTLRStringStream("abc 123 ? foo !"));
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    tokens.toString(); // dummy call to toString() which causes all tokens to be created
    if(!lexer.errors.isEmpty()) {
      for(String error : lexer.errors) {
        System.out.println(error);
      }
    }
    else {
      TParser parser = new TParser(tokens);
      parser.parse();
    }
  }
}

将导致以下输出：

java -cp antlr-3.3.jar org.antlr.Tool T.g javac -cp antlr-3.3.jar *.java java -cp .:antlr-3.3.jar 主要 无效字符： '？'上线：1，索引：9 无效字符： '！'上线：1，索引：15