轻量级 javascript 到 javascript 解析器

Question

我将如何编写一个轻量级的 javascript 到 javascript 解析器。可以转换一些sn-ps代码的简单东西。

我想基本上将函数中的内部范围对象公开。

像这样的

var outer = 42;
window.addEventListener('load', function() {
   var inner = 42;
   function magic() {
       var in_magic = inner + outer;
       console.log(in_magic);
   }
   magic();
}, false);

将编译为

__Scope__.set('outer', 42);
__Scope__.set('console', console);
window.addEventListener('load', constructScopeWrapper(__Scope__, function(__Scope__) {
    __Scope__.set('inner', 42);
    __Scope__.set('magic',constructScopeWrapper(__Scope__, function _magic(__Scope__) {
        __Scope__.set('in_magic', __Scope__.get('inner') + __Scope__.get('outer'));
        __Scope__.get('console').log(__Scope__.get('in_magic'));
    }));
    __Scope__.get('magic')();
}), false);

Demonstation Example

这背后的动机是序列化函数和闭包的状态，并使它们在不同的机器（客户端、服务器、多台服务器）之间保持同步。为此，我需要[[Scope]]

的表示

问题：

1. 我可以在不编写完整的 JavaScript 的情况下进行这种编译器 ->（略有不同）JavaScript 编译器吗？
2. 我将如何编写这样的编译器？
3. 我可以重复使用现有的 js -> js 编译器吗？

Answer 1

您的问题与使用 JS Opfuscators 和 JS Compressors 解决的问题属于同一类问题——它们以及您需要能够将 JS 解析并重新格式化为等效脚本；

在 obfuscators here 上进行了很好的讨论，您的问题的可能解决方案可能是利用 FOSS 版本之一的解析和生成器部分。

一个标注，您的示例代码没有考虑您要设置/获取的变量的范围，这最终将成为您必须解决的问题。

加法

考虑到闭包定义函数的作用域问题，您可能不太可能将这个问题作为静态解析问题来解决，因为必须导入/导出闭包之外的作用域变量来解析/保存和重新实例化作用域。因此，您可能需要深入研究评估引擎本身，并可能获取 V8 引擎并对解释器本身进行破解——假设您不需要它是通用的跨所有脚本引擎并且您可以绑定它到您控制的单个实现。

Answer 2

上面的重写有问题，你没有将魔法的初始化提升到范围的顶部。

有很多项目可以解析 JavaScript。

1. Crock 的 Pratt parser 在适合“好的部分”的 JavaScript 上运行良好，而在其他 JS 上则不太适用。
2. es-lab 解析器基于 ometa，可处理完整的语法，包括 Crock 解析器遗漏的许多极端情况。它的性能可能不如 Crock 的。
3. narcissus 解析器和评估器。我对此没有太多经验。

还有许多用于 JavaScript 的高质量词法分析器，可让您在令牌级别操作 JS。这可能比听起来更难，因为 JavaScript 在词法上不是规则的，如果没有完整的解析，预测分号插入是很困难的。

我的es5-lexer 是一个精心构建且高效的 EcmaScript 5 词法分析器，提供标记化 JavaScript 的能力。它是启发式的，JavaScript 的语法在词法上不是规则的，但启发式非常好，它提供了一种转换标记流的方法，这样解释器就可以保证按照词法分析器解释标记的方式来解释它，所以如果你不相信你的输入，您仍然可以确定安全转换背后的解释是合理的，即使根据规范对于一些奇怪的输入是不正确的。

Answer 3

如果你想要一个简单的界面，你可以试试 node-burrito:https://github.com/substack/node-burrito

它使用 uglify-js 解析器生成一个 AST，然后递归遍历节点。您所要做的就是提供一个回调来测试每个节点。您可以更改您需要更改的那些，它会输出结果代码。

Answer 4

鉴于您想要访问和恢复所有程序状态，我认为您的任务并不容易或短暂。问题之一是您可能必须在计算期间随时捕获程序状态，对吗？这意味着所示示例不太正确；它在执行该代码之前捕获了某种状态（除了您已经预先计算了初始化魔法的总和，并且在原始 JavaScript 的代码运行之前不会发生这种情况）。我假设您可能希望在执行期间的任何时刻捕获状态。

您陈述问题的方式是您想要在 JavaScript 中使用 JavaScript 解析器。 我假设您正在想象您现有的 JavaScript 代码 J，包括这样的 JavaScript 解析器以及生成结果代码 G 所需的任何其他内容，并且当 J 启动时，它会将自身的副本提供给 G，制造序列化代码 S 并以某种方式加载它。 （如果 G 可以处理所有的 Javascript，我认为 G 相当大而且很老旧） 因此，您的 JavaScript 图像包含 J、大 G、S 并在启动时执行昂贵的操作（将 J 馈送到 G）。

我认为可能更好地为您服务的是一个工具 G，它可以离线处理您的原始 JavaScript 代码 J，并生成程序状态/闭包序列化代码 S（用于保存和恢复该状态），可以添加/替换 J 以执行. J+S 被发送给客户端，客户端永远不会看到 G 或其执行。这将 S 的生成与 J 的运行时执行分离，节省了客户端执行时间和空间。

在这种情况下，您需要一个工具来简化此类代码的生成。一个纯 JavaScript 解析器是一个开始，但可能还不够；您需要符号表支持才能知道哪个函数代码连接到函数调用 F(...)，以及哪个变量定义在哪个范围内对应于对变量 V 的赋值或访问。您可能需要实际修改原始代码J 插入可以捕获程序状态的访问点。您可能需要流量分析来找出某些值的去向。在 JavaScript 中坚持所有这些会缩小您的解决方案范围。

对于这些任务，您可能会发现program transformation 工具很有用。此类工具包含用于感兴趣的语言的解析器，构建表示程序的 AST，启用标识符到定义映射（“符号表”）的构建，可以对表示接入点插入的 AST 进行修改，或合成 AST代表您的演示示例，然后重新生成包含修改后的 J 和添加的 S 的有效 JavaScript 代码。 在我所知道的所有程序转换系统中（包括 Wikipedia 站点上的所有系统），没有一个是用 JavaScript 实现的。

我们的DMS Software Reengineering Toolkit 就是这样一个程序转换系统，提供了我刚才描述的所有功能。 （是的，它又大又老；它必须处理真实计算机语言的复杂性）。它有一个JavaScript front end，其中包含一个完整的 AST 解析器，以及从修改或合成的 AST 重新生成 JavaScript 代码的机制。 （也大而苍白；好在 hoary + hoary 仍然只是 hoary）。如果有用，DMS 还为构建控制和数据流分析提供支持。

Answer 5

我会尝试寻找现有的解析器进行修改。也许你可以适应 JSLint/JSHint？