像其他语言中的 PHP 那样的解析器令牌？

Question

短版：

在其他解释语言（Python、Ruby 等）和编译语言（C 家族、Java 等）中是否有类似于 PHP parser tokens 的内容？

加长版：

在the CPP Rocks website 上有an article showing a visual comparison of language complexity，通过图表将语言的各种构建块分解为类别。 Coffeescript 的图表如下所示：

我想以the parser tokens 为起点为 PHP 制作这样一个图表（以确保我不会错过任何东西，因为我很懒惰）。我想知道在其他解释语言（Python、Ruby 等）和编译语言（C 系列、Java 等）中是否存在与这些标记类似的东西。

目前的调查结果：

• Java：描述 Syntax 和 Lexical Structure 的语言规范章节似乎是一个不错的起点。
• Python：手册的第 2 章确实描述了Python's lexical structure。
• 鲁比：the token list for Ruby。

Answer 1

所有解析器都将输入变成标记。语言可能会或可能不会显示这些标记是什么，当然，标记的实际含义和名称会有所不同，当然，由于不同的语言有不同的语法、保留字集和其他结构，每种语言都会有一个稍微不同的令牌集。

这里的标记只是“语言规范中实际符号的命名表示”。例如，解析器会将单词break 视为输入，并将其转换为标记T_BREAK。

对于您正在查看的图表类型，您需要知道不同的语言结构是什么，对它们进行分类，然后以图形方式显示它们——我不确定查看标记列表是实现这一目标的最佳方式。

Answer 2

没有一种语言的标记列表这样的东西。标记是解析器的属性（更准确地说：它们是词法分析器和解析器之间接口的属性），而不是语言。解析相同语言的不同解析器可能使用完全不同的标记集。许多现代解析器都是无词法分析器的，这意味着它们根本没有标记。

例如，在 Ruby 中，Melbourne（Rubinius 使用的解析器）使用的标记集与 RedParse/RubyLexer（各种项目使用）完全不同，RedParse/RubyLexer 再次使用与基于 ANTLR 的分析器完全不同的标记集XRuby 和 Sapphire 在 Steel 中使用的解析器。