Vert.x：最简单的服务器，1000 rps

Question

假设您需要编写一个 1000 rps 的服务器。将来负载可能会增加。服务器只提供一种请求 - getGender(name) 接受名称，并返回 Male/Female。确定性别是最简单的操作，需要单索引查找，其中索引是内存中的数据结构。

如果理解正确 - 您创建单个 ServerVerticle，然后运行 ​​Runtime.getRuntime().availableProcessors() 工作节点，将作业委托给它（参见下面的代码）。

问题：

1. 这是 1000 rps 任务的最佳方案吗？
2. 当 15 个工作人员不足时，在请求高峰时会发生什么？假设一个工作人员可以处理 100 rps。你有 15 名工人。但是在高峰时间你有 3000 rps。
   • 假设NetServer 可以处理 3000 rps，但工人坚持处理它们。 Vert.x 有任何队列来继续等待请求吗？怎么做？如果有 - 工人失败会发生什么？
   • 假设NetServer 无法处理 3000 rps - 只运行几个服务器实例。 没有陷阱，对吧？
3. TCP 是该任务的更好选择吗？
4. Vert.x 是多反应器，它像 Node 一样运行它的事件循环。 ServerVerticle 与事件循环在同一个线程中运行，对吧？
5. 如果你有 16 个核心，1 个核心专用于事件循环，那么 Vert.x 将运行 15 个 GenderVerticles，对吧？ 没有更多的读取？

ServerVerticle.java

public class ServerVerticle extends AbstractVerticle {

    public static void main(String[] args) {
        Consumer<Vertx> runner = vertx -> vertx.deployVerticle("ServerVerticle", new DeploymentOptions());
        Vertx vertx = Vertx.vertx();
        runner.accept(vertx);
    }

    @Override
    public void start() throws Exception {
        NetServerOptions options = new NetServerOptions();
        NetServer server = vertx.createNetServer(options);
        server.connectHandler(socket -> {
            socket.handler(buffer -> {
                vertx.eventBus.send("get.gender", buffer, res -> socket.write(res.toString()));
            });
        });
        server.listen(1234, "localhost");

        //Deploy worker verticles
        DeploymentOptions deploymentOptions = new DeploymentOptions()
            .setInstances(Runtime.getRuntime().availableProcessors())
            .setWorker(true);
       vertx.deployVerticle("GenderServiceVerticle", deploymentOptions);
    } 
}

GenderVerticle.java

public class GenderVerticle extends AbstractVerticle {

    @Override
    public void start() throws Exception {
        vertx.eventBus().consumer("get.gender", message -> {
            String gender = singleIndexLookup(message);
            message.reply(gender);
        });
    }

    singleIndexLookup() { ... }
}

Answer 1

这里有几个问题以及对 vert.x 的一些误解。一旦你使用Verticles 实现了你的代码，你就不需要实现你自己的main 方法，因为在木头之下内部main 方法将确保你可以拥有你的CPU 能力的全部能力而且您不需要自己扩展它：

//Deploy worker verticles
DeploymentOptions deploymentOptions = new DeploymentOptions()
  .setInstances(Runtime.getRuntime().availableProcessors())

您应该阅读documentation 的以下部分。

其次，您将GenderVerticle 称为worker，因为它会为您执行一些操作。请注意，在vertx 中，worker 意味着它应该在专用线程池上执行，因为该 Verticle 中的代码可能会执行一些阻塞 IO。

使用 worker 模式会带来性能损失，因为您失去了异步 IO 的好处并且您的请求需要排队等待池中的线程。

由于您的示例说明您的所有代码都是在内存中查找，我假设它受 CPU 限制而不是 IO 限制，这意味着您应该避免将其部署为工作人员。

回到您的示例，您有 1 个处理所有 HTTP 流量的 Verticle 和第二个处理它的 Verticle。为了获得最佳性能，您可能希望只有 1 个垂直，因为跳数较少，但此解决方案不能水平扩展（您的问题的原因）假设一个节点只能执行 1000rps，我该如何处理 3000rps。

现在您已经走在正确的道路上，您将 http 处理与业务处理分开，它有一点惩罚，但如果您知道 1 个节点可以处理 1000rps 并且您必须至少处理 3000rps，那么您需要做的就是在另外 3 台机器上部署 GenderVerticle。

一旦你这样做并启用集群，你可以通过添加依赖来做到这一点（例如：hazelcast）：

<dependency>
  <groupId>io.vertx</groupId>
  <artifactId>vertx-hazelcast</artifactId>
  <version>3.3.3</version>
</dependency> 

通过使用标志--cluster 启动您的应用程序。您将拥有一个由 4 台机器组成的集群，其中的请求将以循环方式负载平衡到每个 GenderVerticles。

由于 netty 对 HTTP 代码进行了高度优化，您可能不需要多个服务器，如果不是这种情况，您可以选择在服务器前添加流量负载平衡器，然后再次部署另一个ServerVerticle 在集群中的另一台机器上，现在流量负载平衡器将对两台服务器之间的 HTTP 流量进行负载平衡，这两个服务器将轮询到 GenderVerticles。

所以我猜你开始看到这样的模式，一旦你的监控告诉你你的 CPU/NetworkIO 被最大化，你就会向集群添加更多的机器。