玩！框架：限制通过 WS 进行的并发非阻塞 IO 调用答案

【问题标题】：Play! Framework: Limit concurrent non-blocking IO calls made via WS玩！框架：限制通过 WS 进行的并发非阻塞 IO 调用
【发布时间】：2018-12-21 17:01:28
【问题描述】：

我一直在使用 Play!Framework 的 WS 进行网络调用。假设我在范围内的自定义 ExecutionContext 中有 5 个线程。如果我要推送阻塞网络调用，最多可以处理 5 个并行请求，因此我能够限制一次完成的网络调用数量。

使用 WS 时，情况并非如此。它将进行超过 5 个线程的网络调用，因为它不会阻塞在发出 WS 请求的自定义池中。我观察到的是，我可以根据需要发出尽可能多的请求，并最终压倒操作系统资源。示例代码可以在下面找到。嵌套调用总共进行 100 * 100 = 10000 次调用。 我的问题是，有没有办法限制 WS（非阻塞 IO）并行发生的调用次数？我能想到的唯一方法是在请求到达服务器之前进行负载平衡。谢谢！

val cols = (1 to 100).map { col =>
  ws.url(s"http://get-resource/${col}").get().flatMap { futureColResp =>
    val outerCol = futureColResp.json

   val rowFutures = (1 to 100).map { row =>
      ws.url(s"http://get-resource/${row}").get().map { futureRowResp =>
        val innerRow = futureRowResp.json
        doSomething(outerCol, innerRow)
      }
   }
    Future.sequence(rowFutures)
  }
}
Future.sequence(cols)

【问题讨论】：

您是在衡量资源利用率还是只是一个问题？您是更担心操作系统资源消耗还是想避免目标服务泛滥？
我遇到了一个异常，即使使用 WS 也想显式管理资源。
请编辑帖子并添加异常及其发生的代码。
异常与我的问题无关。
@Mayumi 玩版？此外，您至少应该说明发生该异常的类型或原因（资源耗尽？）

标签： multithreading scala playframework nonblocking

【解决方案1】：

在play的配置中，你可以设置如下设置：play.ws.ahc.maxConnectionsTotal

此处描述：https://www.playframework.com/documentation/2.5.x/ScalaWS#configuring-asynchttpclientconfig

一旦并发传出连接数超过定义的值，Play应用程序将不会创建到目标的新连接并抛出以下异常：play.shaded.ahc.org.asynchttpclient.exception.TooManyConnectionsException: Too many connections: 5

在这种情况下，更好的行为可能是减少并行度以避免资源耗尽或尽可能减少对同一服务器的请求数量（可以批处理吗？）。

【讨论】：