NodeJS，承诺和性能

Question

我的问题是关于我的 NodeJS 应用程序的性能...

如果我的程序运行 12 次迭代，每次 1.250.000 = 15.000.000 次迭代 - 亚马逊的专用服务器需要以下时间来处理：

r3.large：2 个 vCPU、6.5 个 ECU、15 GB 内存 --> 123 分钟

4.8xlarge：36 个 vCPU、132 个 ECU、60 GB 内存 --> 102 分钟

我有一些类似于下面代码的代码...

start();

start(){

  for(var i=0; i<12; i++){

      function2();    // Iterates over a collection - which contains data split up in intervals - by date intervals. This function is actually also recursive - due to the fact - that is run through the data many time (MAX 50-100 times) - due to different intervals sizes...
    }
}

function2(){

  return new Promise{

    for(var i=0; i<1.250.000; i++){       
         return new Promise{      
            function3();      // This function simple iterate through all possible combinations - and call function3 - with all given values/combinations
         }
      }   
   } 
}


function3(){
   return new Promise{ // This function simple make some calculations based on the given values/combination - and then return the result to function2 - which in the end - decides which result/combination was the best...
}}

这等于每次迭代 0.411 毫秒 / 441 微秒！

当我查看任务栏中的性能和内存使用情况时……CPU 没有以 100% 的速度运行 - 但更像是 50%……整个时间？ 内存使用量开始非常低 - 但 KEEPS 以 GB 为单位增长 - 每分钟直到进程完成 - 但是当我在 Windows CMD 中按 CTRL+C 时首先释放（分配的）内存......所以它就像 NodeJS 垃圾收集不能以最佳方式工作 - 或者可能是代码的设计再次简单......

当我执行应用程序时，我使用内存选项：

节点 --max-old-space-size="50000" server.js

请告诉我你能做的每一件事 - 让我的程序更快！

谢谢大家 - 非常感谢！

Answer 1

并不是垃圾收集器无法以最佳方式工作，而是它根本无法工作 - 你没有给它任何机会。 p>

当在 Node 中开发 tail call 优化 tco module 时，我注意到了一件奇怪的事情。它似乎泄漏了内存，我不知道为什么。原来是因为很少console.log() 在我用来测试的各个地方调用，看看发生了什么，因为看到数百万级深度的递归调用的结果需要一些时间，所以我想在它做的时候看到一些东西。

你的例子和那个很相似。

记住 Node 是单线程的。当您的计算运行时，没有其他东西可以 - 包括 GC。您的代码是完全同步和阻塞的——即使它以阻塞的方式生成数百万个 Promise。它是阻塞的，因为它永远不会到达事件循环。

考虑这个例子：

var a = 0, b = 10000000;

function numbers() {
  while (a < b) {
    console.log("Number " + a++);
  }
}

numbers();

这很简单 - 你想打印 1000 万个数字。但是当你运行它时，它的行为非常奇怪 - 例如，它会打印到某个点的数字，然后它会停止几秒钟，然后它会继续运行，或者如果你正在使用交换，它可能会开始丢弃，或者可能会给你这个错误我刚看到8486号就到了：

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out of memory
Aborted

这里发生的事情是主线程被阻塞在一个同步循环中，它不断创建对象但 GC 没有机会释放它们。

对于如此长时间运行的任务，您需要分工并偶尔进入事件循环。

以下是解决此问题的方法：

var a = 0, b = 10000000;

function numbers() {
  var i = 0;
  while (a < b && i++ < 100) {
    console.log("Number " + a++);
  }
  if (a < b) setImmediate(numbers);
}

numbers();

它的作用相同 - 它打印从 a 到 b 的数字，但以 100 个为一组，然后它安排自己在事件循环结束时继续。

$(which time) -v node numbers1.js 2>&1 | egrep 'Maximum resident|FATAL'的输出

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - process out of memory
    Maximum resident set size (kbytes): 1495968

它使用了 1.5GB 内存并崩溃了。

$(which time) -v node numbers2.js 2>&1 | egrep 'Maximum resident|FATAL'的输出

    Maximum resident set size (kbytes): 56404

它使用了 56MB 内存并完成了。

另请参阅这些答案：

• How to write non-blocking async function in Express request handler
• How node.js server serve next request, if current request have huge computation?
• Maximum call stack size exceeded in nodejs
• Node; Q Promise delay
• How to avoid jimp blocking the code node.js