使用节点 js 和 readline 读取大文件时出现内存限制超出错误

Question

使用 readline 时出现内存错误。部分代码如下所示：

            var lineReader = require('readline').createInterface({
                input: require('fs').createReadStream('/tmp/temp.ttl')
            });
            let entity;
            let tripleKey;
            let triple;
            console.log('file ready for processing');
            lineReader.on('line', function (line) {
                triple = parser.parse(line)[0];
                if (triple) {
                    tripleKey = datastore.key('triple');
                    entity = prepare_entity(tripleKey, triple);
                    lineReader.pause();
                    datastore.save(entity).then(()=>lineReader.resume());                      
                    number_of_rows += 1;
            };

我认为“在线”事件的所有内存都是预先分配的，因为它在循环之外。所以我的问题是，什么可能导致本节代码中的内存消耗？

作为对 Doug 的回应，将 readline 更改为完全流式传输现在会在 140,000 个实体（而不是之前的 40,000 个）之后显示内存限制错误。

见下文：

const remoteFile = bucket.file(file.name);

var lineReader = require('readline').createInterface({
    input: remoteFile.createReadStream()
});
console.log('file ready for processing');
lineReader.on('line', function (line) { ...

Answer 1

在 Cloud Functions 中，/tmp is a memory-based filesystem。这意味着您的 1.2GB 文件实际上占用了 1.2GB 的内存。这是很多内存。

如果您需要更多内存，可以尝试在Cloud Console 中为您的函数增加内存限制，最高可达 2GB。

相反，您可能想尝试从源文件流式传输文件并处理流式传输，而不是在本地下载整个内容。随着时间的推移，您可以通过这种方式节省内存使用量。