Lexer：在标记化时处理未终止的字符串

Question

我已经开始编写自己的词法分析器，但最终遇到了标记字符串的问题，因为它们有一个开始 (") 和一个结束 (") 字符与之关联。

有谁知道词法分析器可以处理并继续对未终止字符串进行词法分析的常用技术？ 我认为ANTLR可以做到这一点，这是由ANTLR中的ATN处理的吗？

假设字符串必须在一行上终止，我可以看到这里有两个问题：

1. 字符串终止发生在单独的行上 - 因此警告用户字符串只能放在一行上。
2. 没有发生字符串终止，那么您何时知道有效的继续点在哪里？在新行之后使用下一个有效令牌的启发式。

即

char *mystring = "my string which is unterminated....
int id = 20;

Answer 1

如果您的语言禁止字符串文字中的换行符，那么仅在行尾终止字符串可能是可以接受的。与字符串文字在同一行上出现声明或关键字语句的可能性是合理的（并且没有理由通过试图弥补它来鼓励不良风格。）

你可以跳过一个有用的右括号：

 printf("%s\n, line);

但您可能已经制定了可以应对这种情况的恢复规则。

如果字符串字面量可以包含换行符——并且有充分的证据表明这个特性通常是需要的——那么恢复就相当困难了，你可能会发现最简单的解决方案就是抛出一个语法错误，这很明显说明有问题的字符串从哪里开始。