【问题标题】:Webclient Leaks Memory In Docker?Webclient 在 Docker 中泄漏内存?
【发布时间】:2020-12-07 01:32:22
【问题描述】:

我正在尝试在我的项目中使用 Webclient,但是当我加载测试时,我注意到 docker 内存使用量在实例终止之前永远不会下降。

@Component
public class Controller {

  //This is an endpoint to another simple api
  //I use my local Ip instead of localhost in the container
  private static final String ENDPOINT = "http://localhost:9090/";

  private WebClient client;
  
  public Controller(WebClient.Builder client) {
    super();
    this.client = client.build();
  }

  @Bean
  public RouterFunction<ServerResponse> router() {

    return RouterFunctions.route(GET("helloworld"), this::handle);
  }

  Mono<ServerResponse> handle(ServerRequest request) {

    Mono<String> helloMono =
        client.get().uri(ENDPOINT + "/hello").retrieve().bodyToMono(String.class);

    Mono<String> worldMono =
        client.get().uri(ENDPOINT + "/world").retrieve().bodyToMono(String.class);

    return Mono.zip(helloMono, worldMono, (h, w) -> h + w)
        .flatMap(s -> ServerResponse.ok().bodyValue(s));
  }
}

这也是我的 dockerFile。

FROM openjdk:8

ENV SERVICE_NAME reactive-hello-world

ADD target/reactive-hello-world-*.jar $APP_HOME/reactive-hello-world.jar

RUN mkdir /opt/reactor-netty/


EXPOSE 9010

CMD java \
    -Dcom.sun.management.jmxremote=true \
    -Dcom.sun.management.jmxremote.local.only=false \
    -Dcom.sun.management.jmxremote.authenticate=false \
    -Dcom.sun.management.jmxremote.ssl=false \
    -Djava.rmi.server.hostname=localhost \
    -Dcom.sun.management.jmxremote.port=9010 \
    -Dcom.sun.management.jmxremote.rmi.port=9010 \ 
    -Xmx190M \
    -jar reactive-hello-world.jar

EXPOSE 8080

我是否在某个地方错过了一步?

编辑:这里有一些图片

负载测试前:

负载测试后

如您所见,GC 正常进行,但内存并未减少。如果我让测试继续,它会在几分钟内杀死实例。

我使用RestTemplate 尝试过类似的代码,但我没有遇到任何问题,即使我长时间运行 Jmeter,内存通常也不会超过 400MB。你能帮助了解发生了什么吗?

编辑:我也尝试过已弃用的AsyncRestTemplate,但我也没有发现问题。

编辑:我为此示例创建了存储库。请检查您是否可以重现该问题。

The Hello World Backend

The Webclient Hello World(JMX 在这个 repo 里面)

The RestTemplate Hello World

The AsyncRestTemplate Hello World

【问题讨论】:

  • 所以你正在调用端点/hello,然后在无限循环中调用端点/hello?然后它崩溃了......还是我错过了什么?
  • 我在端口 9090 上创建了第二个 API,它有 2 个简单的字符串端点。
  • “内存使用量永远不会下降”——它是否曾经达到 OutOfMemoryError 的程度?如果不是,那么垃圾收集可能尚未启动。尝试运行测试,直到达到 OOM 或使用的内存下降。此外,如果您正在研究性能:您不应该为每个请求创建一个新的 WebClient,您应该自动装配一个 WebClient 实例或将其创建为类中的静态字段。
  • 它没有下降,我检查了 VisualVM 发生的 GC,但内存仍然没有下降。堆内存下降,但 docker 内存几乎没有受到影响。
  • 是什么让你觉得有问题,是由WebClient引起的?

标签: spring-boot docker reactive-programming spring-webflux project-reactor


【解决方案1】:

别介意小伙子们,我已经找到了答案,请看:

https://github.com/reactor/reactor-netty/issues/1304

本质上,reactor netty 依赖已经过时了。

【讨论】:

  • 您可能希望将一些详细信息复制到您的答案中
【解决方案2】:

我认为您的问题与 RestTemplateWebClient 无关。您的 GC 图看起来很正常。看起来没有泄漏,因为每当发生 GC 时,分配的内存似乎能够回到之前的级别。

请务必注意,当垃圾回收发生时,您不会总是看到容器内存使用量下降。这是因为 Java 虚拟机不一定会在 GC 之后将内存返回给系统。这意味着,即使在您的进程中的 GC 之后有一部分内存未被使用/释放,它仍可能从进程外部显示为“已使用”。

明确一点:JVM确实在某些情况下会将内存返回给系统,这取决于各种因素,包括所使用的垃圾收集器。

从示例的第二个屏幕截图中的 GC 图来看,GC 图看起来很正常,但似乎有少量堆被释放回系统(橙色区域)。

您可以尝试通过-XX:+UseG1GC JVM 标志切换到 G1 GC,并通过调整 -XX:MinHeapFreeRatio-XX:MaxHeapFreeRatio 来调整行为以更积极地将未分配的内存释放回系统,特别是通过减少 -XX:MaxHeapFreeRatio 的值默认的 70% 到一个较低的数字。见here

将 -XX:MaxHeapFreeRatio 降低到低至 10% 并且 -XX:MinHeapFreeRatio 已证明可以成功地减小堆大小而不会造成太多性能下降;但是,根据您的应用程序,结果可能会有很大差异。为这些参数尝试不同的值,直到它们尽可能低,但仍保持可接受的性能。

有关该主题的更多信息,请参阅:

Does GC release back memory to OS?

JEP 346: Promptly Return Unused Committed Memory from G1

【讨论】:

  • 如果您在 docker 文件中注意到我将最大 heapSize 减少到 190MB。你在图中看到堆永远不会超过这个值。如果不是一些堆外泄漏,那么内存使用量如何永远不会下降?如果我运行 jmx 足够长的时间,它最终会杀死 docker 实例。另外,如果 webclient 不是问题,为什么我使用 restTemplate 时不会发生这种情况?
  • @Jojo 我明白了。由于反应流,在带有 webclient 的项目中,类加载器加载的类可能更多。您可以通过查看屏幕截图中加载的类的数量来验证这一点。因此差异可能是由元空间大小引起的。你能检查一下吗?
  • 元空间大小看起来也正常。我最近一次运行的实例内存高达 1GB。查看 VisualVM,我看不出任何明显的原因。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2011-10-08
  • 2013-01-20
  • 2011-10-31
相关资源
最近更新 更多