处理太大而无法放入内存的 JSON 对象

Question

我有一个 Firebase 数据库的转储，它表示存储在 JSON 中的用户表。我想对其进行一些数据分析，但问题是它太大而无法完全加载到内存中并使用纯 JavaScript（或_ 和类似库）进行操作。

到目前为止，我一直在使用 JSONStream 包来处理我的小块数据（它为 JSON 转储中的每个用户调用一次回调）。

我现在遇到了一个障碍，因为我想过滤我的用户 ID 根据他们的价值。我试图回答的“问题”是“哪些用户 x”的形式，而之前我只是问“有多少用户 x”，并不需要知道他们是谁。

数据格式如下：

{
    users: {
        123: {
            foo: 4
        },
        567: {
            foo: 8
        }
    }
}

我要做的基本上是根据foo的值获取用户ID（上面的123或567）。现在，如果这是一个小列表，那么使用 _.each 之类的东西来迭代键和值并提取我想要的键将是微不足道的。

不幸的是，因为它不适合无法工作的内存。使用 JSONStream，我可以使用 var parser = JSONStream.parse('users.*'); 对其进行迭代，并将其传递到一个处理它的函数中，如下所示：

var stream = fs.createReadStream('my.json');

stream.pipe(parser);

parser.on('data', function(user) {
    // user is equal to { foo: bar } here
    // so it is trivial to do my filter
    // but I don't know which user ID owns the data
});

但问题是我无法访问代表我传递给JSONStream.parse 的星号通配符的密钥。也就是说，我不知道{ foo: bar}是代表用户123还是用户567。

问题是双重的：

1. 如何从回调中获取当前路径？
2. 有没有更好的方法来处理这个太大而无法放入内存的 JSON 数据？

Answer 1

我继续编辑 JSONStream 以添加此功能。

如果有人遇到此问题并想以类似方式对其进行修补，您可以替换之前的line 83

stream.queue(this.value[this.key])

用这个：

var ret = {};
ret[this.key] = this.value[this.key];

stream.queue(ret);

在原始问题的代码示例中，user 在回调中等于 { foo: bar } 现在将是 { uid: { foo: bar } }

由于这是一项重大更改，我没有将拉取请求提交回原始项目，但我确实将其留在问题中，以防他们将来想为此添加标志或选项。