进程内存不足时删除大型Javascript对象

Question

我是这种javascript的新手，所以我将做一个简单的解释：

我有一个内置于Nodejs 的网络爬虫，它收集（相当多的）数据，用Cheerio 处理它（基本上jQuery 用于Node）创建一个对象然后将其上传到mongoDB。

它工作得很好，除了在较大的网站上。 似乎正在发生的事情是：

1. 我给爬虫一个网上商店的 URL 来爬取
2. 节点转到该 URL 并检索 5,000 - 40,000 个产品 URL 以进行抓取
3. 对于每个新 URL，Node 的 request 模块获取页面源，然后将数据加载到 Cheerio。
4. 我使用 Cheerio 创建了一个代表产品的 JS 对象。
5. 我将对象发送到 MongoDB 并保存到我的数据库中。

正如我所说，这种情况发生在数千个 URL 上，一旦我加载了 10,000 个 URL，我就会在 node.js 中遇到错误。最常见的是：

Node: Fatal JS Error: Process out of memory

好的，这是实际的问题：

我认为这是因为 Node 的垃圾清理工作不正常。例如，从所有 40,000 个 url 中抓取的 request 数据可能仍在内存中，或者至少创建的 40,000 个 javascript 对象可能仍在内存中。也许这也是因为 MongoDB 连接是在会话开始时建立的，并且从未关闭（我只是在所有产品完成后手动关闭脚本）。这是为了避免在我每次登录新产品时打开/关闭连接。

要真正确保它们被正确清理（一旦产品进入 MongoDB，我就不再使用它并且可以从内存中删除）我可以/应该只是简单地从内存中删除它，只需使用 delete product？

此外（我显然不了解 JS 如何处理对象）如果我删除一个对该对象的引用，它是从内存中完全擦除，还是必须全部删除？

例如：

var saveToDB = require ('./mongoDBFunction.js');

function getData(link){
    request(link, function(data){
        var $ = cheerio.load(data);
        createProduct($)
    })
}

function createProduct($)   
    var product = {
        a: 'asadf',
        b: 'asdfsd'
        // there's about 50 lines of data in here in the real products but this is for brevity
    }    
    product.name = $('.selector').dostuffwithitinjquery('etc');
    saveToDB(product);
}

// In mongoDBFunction.js

exports.saveToDB(item){
    db.products.save(item, function(err){
        console.log("Item was successfully saved!");
        delete item; // Will this completely delete the item from memory?
    })
}

Answer 1

delete 在 javascript 中不用于删除变量或释放内存。它仅用于从对象中删除属性。您可能会在 delete 运算符上找到 this article 值得一读。

您可以通过将变量设置为null 之类的值来删除对变量中保存的数据的引用。如果没有其他对该数据的引用，那么这将使它有资格进行垃圾收集。如果还有对该对象的其他引用，则在没有更多对该对象的引用之前，它不会从内存中清除（例如，您的代码无法访问它）。

至于导致内存积累的原因，有很多可能性，我们无法真正看到足够多的代码来知道可以保留哪些引用，从而阻止 GC 释放东西。

如果这是一个长时间运行且没有中断执行的进程，您可能还需要手动运行垃圾收集器，以确保它有机会清理您已释放的内容。

这里有几篇关于在 node.js 中跟踪内存使用情况的文章：http://dtrace.org/blogs/bmc/2012/05/05/debugging-node-js-memory-leaks/ 和 https://hacks.mozilla.org/2012/11/tracking-down-memory-leaks-in-node-js-a-node-js-holiday-season/。

Answer 2

JavaScript 有一个垃圾收集器，可以自动跟踪哪个变量是“可访问的”。如果一个变量是“可达的”，那么它的值就不会被释放。

例如，如果您有一个全局变量 var g_hugeArray 并为其分配了一个巨大的数组，那么您实际上有两个 JavaScript 对象：一个是保存数组数据的巨大块。另一个是窗口对象上的一个属性，其名称为“g_hugeArray”，它指向该数据。所以引用链是：window -> g_hugeArray -> 实际数组。

为了释放实际数组，您使实际数组“无法访问”。您可以打破上述链中的任何一个链接来实现这一点。如果将 g_hugeArray 设置为 null，则会断开 g_hugeArray 与实际数组之间的链接。这使得数组数据无法访问，因此它将在垃圾收集器运行时被释放。或者，您可以使用“delete window.g_hugeArray”从窗口对象中删除属性“g_hugeArray”。这会破坏 window 和 g_hugeArray 之间的链接，并且还会使实际数组无法访问。

当您“关闭”时，情况会变得更加复杂。当你有一个引用局部变量的局部函数时，就会创建一个闭包。例如：

function a()
{
    var x = 10;
    var y = 20;
    setTimeout(function()
        {
            alert(x);
        }, 100);
}

在这种情况下，即使在函数“a”返回后，仍然可以从匿名超时函数访问局部变量 x。如果没有 timeout 函数，那么一旦函数 a 返回，局部变量 x 和 y 都将变得不可访问。但是匿名函数的存在改变了这一点。根据 JavaScript 引擎的实现方式，它可能会选择同时保留变量 x 和 y（因为在函数实际运行之前它不知道函数是否需要 y，这发生在函数 a 返回之后）。或者如果它足够聪明，它只能保留 x。想象一下，如果 x 和 y 都指向大的东西，这可能是个问题。所以关闭非常方便，但有时它更可能导致内存问题，并且可能使跟踪内存问题变得更加困难。

Answer 3

我在具有类似功能的应用程序中遇到了同样的问题。我一直在寻找内存泄漏或类似的东西。我的进程消耗的内存大小已达到 1.4 GB，这取决于必须下载的链接数。

我注意到的第一件事是，在手动运行垃圾收集器后，几乎所有内存都被释放了。我下载的每个页面大约需要 1 MB，经过处理并存储在数据库中。

然后我安装heapdump 并查看应用程序的快照。有关内存分析的更多信息，请访问Webstorm Blog。

我的猜测是，当应用程序运行时，GC 并没有启动。为此，我开始运行带有标志--expose-gc的应用程序，并在程序执行时开始手动运行GC。

const runGCIfNeeded = (() => {
    let i = 0;
    return function runGCIfNeeded() {
        if (i++ > 200) {
            i = 0;

            if (global.gc) {
                global.gc();
            } else {
                logger.warn('Garbage collection unavailable. Pass --expose-gc when launching node to enable forced garbage collection.');
            }
        }
    };
})();

// run GC check after each iteration
checkProduct(product._id)
    .then(/* ... */)
    .finally(runGCIfNeeded)

Answer 4

有趣的是，如果在全局范围内定义某些东西时不使用const、let、var 等，它似乎是全局对象的一个​​属性，删除返回true。这可能会导致它被垃圾收集。我是这样测试的，它似乎对我的内存使用产生了预期的影响，如果这不正确或者你得到了截然不同的结果，请告诉我：

x = [];
process.memoryUsage();
i = 0;
while(i<1000000) {
    x.push(10.5);
}
process.memoryUsage();
delete x
process.memoryUsage();