Node.js - 调用搜索索引时内存不足

Question

我正在尝试从 csv 文件中读取数据并将数据插入到弹性搜索索引中。如下所示，我使用 readstream 并监听“数据”事件。我的问题是，我使用这种方法很快就会耗尽内存。我猜这是因为 elasticsearch 模块（弹性）每次都在做一个 REST，并且此类请求的数量不断增加。

我是新手，有没有办法解决这个问题，以免内存不足？有什么通用模式或技术？

stream.on('data', function (doc) {
    // create a json from doc
    client.index('entities', 'command', json, function (err, res) {
        console.log(res);
    });
}

Answer 1

在获取数据时暂停流，并在请求完成时恢复。

stream.on('data', function (doc) {
    stream.pause();
    // create a json from doc
    client.index('entities', 'command', json, function (err, res) {
        stream.resume();
        console.log(res);
    });
}

关于您的代码的奇怪之处在于您没有在该函数的任何地方使用doc。我猜你没有发布你的整个代码。