无法在 JSON.parse 中创建长度超过 0x1fffffe8 个字符的字符串？

Question

我有一个 JSON 文件，它的 json 数据大小为 914MB。我用fs-extra 加载文件并解析它。但是当我解析它时会出错

无法创建长度超过 0x1fffffe8 个字符的字符串

下面是代码

        const fs = require('fs-extra');
        const rawdata = fs.readFileSync('src/raw.json');
        const data = JSON.parse(rawdata);

我正在使用npm 运行该项目，并在package.json 中运行以下命令。

"scripts": {
   
    "start:dev": "cross-env NODE_OPTIONS='--max-old-space-size=4096' ts-node -r tsconfig-paths/register ./src --env=development",
  
  }

Answer 1

0x1fffffe8 正好是 512MB。

许多评论是正确的：您遇到了系统限制。我同意@Pointy，它很可能是节点字符串长度限制。 fs-extra has nothing to do with the limit

无论如何，您都必须分块处理该 JSON。

几乎可以肯定，您的海量 JSON 数据是根级别的数组。因此，如果您使用流/SAX 解析器，您可以单独或批量处理该根数组中的每个元素，无论哪个有意义。

ℹ️您可能不想要只支持JSON Streaming protocol 的流解析器，因为该协议是为流中连接的多个 JSON 对象的流而设计的。但据我所知，你有一个巨大的整体 JSON 对象，很可能是我上面提到的根数组。

您有许多解析器选项。为了帮助您入门，以下是 NPM 上使用率最高的那些：

• https://github.com/creationix/jsonparse#readme

• https://github.com/ndjson/ndjson.js

• https://github.com/uhop/stream-json

• https://www.npmjs.com/package/JSONStream（顶部，但已存档）

• https://gitlab.com/philbooth/bfj（#2，但也已归档）

如果性能很关键

如果您知道源 JSON 的格式非常规则，例如根数组中的每条记录都是 N 行长，最有效的方法可能是通过缓冲读取器读取原始行，每 N 行抓取一次（调整顶部根数组的开头行），然后 JSON.parse那些单独的（在删除逗号分隔根数组条目之后。只是一个原始的想法。我从来没有做过！