为 Fastify Node js 实现负载保护答案

【问题标题】：Implementing load protection for Fastify Node js为 Fastify Node js 实现负载保护
【发布时间】：2020-09-30 11:55:40
【问题描述】：

故事：

作为一名开发人员，我想为 Fastify 实现负载保护，以便保护服务器负载免受服务器崩溃。

上下文：

对严重性能问题的根本原因分析可能需要一些时间。对于实时部署的项目，值得为服务器或服务添加过载保护。过载保护的想法是监视事件循环延迟（除其他外），如果超过阈值，则响应“503 Service Unavailable”。这允许负载均衡器故障转移到其他实例，或者在最坏的情况下意味着用户将不得不刷新。 under-pressure 模块可以为 Fastify 提供最小的开销。

问题：

under-pressure 插件的主要目的是保护服务器免受高负载。我使用autocannon 创建了一个假负载，服务器突然开始抛出这个错误：

<--- JS stacktrace --->

==== JS stack trace =========================================

    0: ExitFrame [pc: 00007FF7D342A9AC]
Security context: 0x01b3e02408d1 <JSObject>
    1: _write [000001EBE7CBA7B1] [_stream_transform.js:~169] [pc=000002737CBBD07D](this=0x02fe03573099 <LineStream map = 00000149AA79E209>,0x00f819d83789 <Uint8Array map = 000002F9BBE3F279>,0x00c0496035d9 <String[#6]: buffer>,0x02fe03575639 <JSBoundFunction (BoundTargetFunction 000003C5D37BC781)>)        
    2: ondata [000002FE03577FC9] [_stream_readable.js:~712]...

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 00007FF7D28A363F napi_wrap+128063
 2: 00007FF7D2842836 v8::base::CPU::has_sse+35142
 3: 00007FF7D28434F6 v8::base::CPU::has_sse+38406
 4: 00007FF7D3059F4E v8::Isolate::ReportExternalAllocationLimitReached+94
 5: 00007FF7D3042021 v8::SharedArrayBuffer::Externalize+833
 6: 00007FF7D2F0E57C v8::internal::Heap::EphemeronKeyWriteBarrierFromCode+1436
 7: 00007FF7D2F197D0 v8::internal::Heap::ProtectUnprotectedMemoryChunks+1312
 8: 00007FF7D2F162F4 v8::internal::Heap::PageFlagsAreConsistent+3204
 9: 00007FF7D2F0BB13 v8::internal::Heap::CollectGarbage+1283
10: 00007FF7D2F0A184 v8::internal::Heap::AddRetainedMap+2452
11: 00007FF7D2F31E1F v8::internal::Factory::NewRawTwoByteString+95
12: 00007FF7D2F349CB v8::internal::Factory::NewStringFromUtf8+187
13: 00007FF7D305681A v8::String::NewFromUtf8+298
14: 00007FF7D27A9ABF node::tracing::TraceEventHelper::SetAgent+40751
15: 00007FF7D285A46D v8::internal::Malloced::operator delete+1661
16: 00007FF7D342A9AC v8::internal::SetupIsolateDelegate::SetupHeap+45852
17: 000002737CBBD07D

预期：

应该保护负载的非常快的插件正在破坏fastify服务器，需要其他插件的帮助或其他方式来实现负载保护

交叉发布到 Github：https://github.com/fastify/under-pressure/issues/64

【问题讨论】：

可以在应用服务器上实现这样的东西并不意味着这是一个好主意。如果你还没有把它放在 nginx 后面。

标签： node.js performance database-performance fastify

【解决方案1】：

正如问题中指出的那样，使用的配置禁用了保护。

无论如何，我认为您应该评估它是否是外部 API。

如果它是外部的fastify-rate-limit 将是限制每个租户每秒可以对您的端点执行的请求的理想选择。这对企业也有好处，因为您可以为每个客户提供不同的门槛。

正如您所指出的，内部 API 可以使用 under-pressure，根据我的经验，最好的配置是：

const v8 = require('v8')

console.log(v8.getHeapStatistics())

fastify.register(require('under-pressure'), {
  maxEventLoopDelay: 200, // are you using sync method?!
  maxHeapUsedBytes: v8.getHeapStatistics().heap_size_limit,
  maxRssBytes: v8.getHeapStatistics().total_available_size
})

这样，插件将适应使用所有default或自定义内存设置：

node --max-old-space-size=4096 server.js

请注意，Nodejs 12 将堆空间调整为它运行的系统，如official post 中所述

此更新将根据可用内存配置 JavaScript 堆大小，而不是使用 V8 为浏览器设置的默认值。在以前的版本中，除非配置，否则 V8 默认在 32 位和 64 位平台上分别将最大堆大小限制为 700 MB 或 1400MB。根据可用内存配置堆大小可确保 Node.js 不会尝试使用比可用内存更多的内存并在其内存耗尽时终止。这在处理大型数据集时特别有用。和以前一样，如果默认值不适合您的应用程序，仍然可以设置 — max-old-space-size 以使用不同的限制。

【讨论】：