NodeJS 内存增长 - （系统）内存泄漏？答案

【问题标题】：NodeJS memory growth - Memory leak in (system)?NodeJS 内存增长 - （系统）内存泄漏？
【发布时间】：2020-03-11 11:55:14
【问题描述】：

我在我们的实际环境中遇到了一个奇怪的内存泄漏，其中(system) 堆中的对象不断增长。

堆转储

这是一个内存转储，其中内存使用量增长到 800MB：

请注意，此内存保留在 Generator 对象中。 TBH，我不知道那是什么。

通过global.gc(); 手动触发垃圾回收通常会释放大约 10MB 的内存。（但是gc的重复触发没有影响）

应用程序崩溃

应用程序大约每 12 小时崩溃一次，并出现以下错误：

2019-11-15T08:29:01.174417825Z 08:29:01 0|. | <--- Last few GCs --->
2019-11-15T08:29:01.176095829Z 08:29:01 0|. | [47:0x55ac8cdf3dc0] 65890519 ms: Scavenge 912.3 (929.2) -> 909.3 (929.2) MB, 6.7 / 0.0 ms  (average mu = 0.987, current mu = 0.987) allocation failure 
2019-11-15T08:29:01.177260332Z 08:29:01 0|. | [47:0x55ac8cdf3dc0] 65890653 ms: Scavenge 912.9 (929.2) -> 910.0 (929.2) MB, 10.1 / 0.0 ms  (average mu = 0.987, current mu = 0.987) allocation failure 
2019-11-15T08:29:01.178027234Z 08:29:01 0|. | [47:0x55ac8cdf3dc0] 65890701 ms: Scavenge 913.6 (929.2) -> 910.6 (929.2) MB, 6.3 / 0.0 ms  (average mu = 0.987, current mu = 0.987) allocation failure 
2019-11-15T08:29:01.183406747Z 08:29:01 0|. | <--- JS stacktrace --->
2019-11-15T08:29:01.184194849Z 08:29:01 0|. | ==== JS stack trace =========================================
2019-11-15T08:29:01.184939851Z 08:29:01 0|. |     0: ExitFrame [pc: 0x55ac88379c39]
2019-11-15T08:29:01.185674553Z 08:29:01 0|. | Security context: 0x064ed4d408d1 <JSObject>
2019-11-15T08:29:01.187183757Z 08:29:01 0|. |     1: /* anonymous */ [0x34eb4a55a171] [/usr/src/app/node_modules/express-validator/src/chain/context-runner-impl.js:~25] [pc=0x34ab58ee2e1f](this=0x3c92e4142b89 <ContextRunnerImpl map = 0x13b2881d9399>)
2019-11-15T08:29:01.188904261Z 08:29:01 0|. |     2: next [0x64ed4d63621](this=0x34eb4a55a569 <JSGenerator>)
2019-11-15T08:29:01.190831866Z 08:29:01 0|. |     3: /* anonymous */(aka /* anonymous */) [0x34eb4a55a201] [/usr/src/app/node_modules/expr...
2019-11-15T08:29:01.195055876Z 08:29:01 0|. | FATAL ERROR: invalid array length Allocation failed - JavaScript heap out of memory
2019-11-15T08:29:01.396743877Z 2019-11-15T08:29:01: PM2 log: App [.:0] exited with code [0] via signal [SIGABRT]
2019-11-15T08:29:01.400481986Z 08:29:01 PM2      | App [.:0] exited with code [0] via signal [SIGABRT]
2019-11-15T08:29:01.403095193Z 2019-11-15T08:29:01: PM2 log: App [.:0] starting in -fork mode-
2019-11-15T08:29:01.406294501Z 08:29:01 PM2      | App [.:0] starting in -fork mode-
2019-11-15T08:29:01.419367433Z 2019-11-15T08:29:01: PM2 log: App [.:0] online
2019-11-15T08:29:01.422309441Z 08:29:01 PM2      | App [.:0] online

2019-11-15T08:29:03.279070252Z 08:29:03 0|.      | server started at http://localhost:80

这发生在大约 1.2 GB 的进程内存使用量（此时机器在约 67% 的内存上运行）。这本身就很奇怪，因为我使用以下命令运行服务器：

pm2 start . --no-daemon --node-args=\"--max-old-space-size=2048 --max-semi-space-size=4 --expose_gc\" --max-memory-restart 1536M

所以节点应该有 2GB 可用空间，并且 pm2 应该在进程达到限制之前重新启动。

应用背景

该应用程序是一个用 TypeScript 编写的 json api。它使用express 处理请求（大约每分钟3k）并使用node-mssql 查询MS SQL Server。此外，它通过 bee-queue 包异步处理作业（执行额外的 sql 查询）。

【问题讨论】：

标签： node.js typescript express memory-leaks pm2

【解决方案1】：

所以，我通过编译为es2017 而不是es6 解决了这个问题。

详情：

我注意到当我将async 函数传递给express 路由器时会出现问题。然而，返回 Promise 的函数没有问题。

我发现问题是当将 TypeScript 代码编译为 es6 时，它会转换

async function() {...

到

__awaiter(this, void 0, void 0, function* () {...

这就是Generators 发挥作用的地方。看起来express 在处理请求后无法正确释放它。由于es2017 支持async 功能，这不再是问题。

另外我不得不删除包express-validator，因为他们的验证中间件被编译成相同的Generator结构。

【讨论】：

在我的情况下，内存需要数周才能建立起来。有没有办法轻松调试？所以如果我使用es2017 并查看结果，然后使用es6 然后查看结果，我在寻找什么不同？