使用 Spring 云网关和 Nginx 作为反向代理的网关超时

Question

我为我的应用程序创建了一个 API 网关，它将充当其他微服务的前端控制器。 在我的生产设置中，我使用 Nginx 作为网关的反向代理

API 网关在 8080 端口上运行

Nginx 配置如下：

网关-api.conf：

server {
    listen 80;
    server_name api.example.com;
    location / {
        proxy_set_header        X-Real-IP       $remote_addr;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_pass http://localhost:30010/;
        keepalive_timeout 500s;
    }
    keepalive_timeout 500s;
    access_log /var/log/nginx/api.log;  
    error_log /var/log/nginx/api_error.log;
}

nginx.conf 中的超时设置：

proxy_connect_timeout 300;
proxy_send_timeout 300;
proxy_read_timeout 300;
send_timeout 300;

Spring 云网关 gradle 文件：

compile('org.springframework.cloud:spring-cloud-starter-gateway')
 compile('org.springframework.cloud:spring-cloud-starter-openfeign')
 compile("org.springframework.boot:spring-boot-starter-actuator")
 compile('org.springframework.boot:spring-boot-starter-security')

springBootVersion=2.0.3.RELEASE
springDMPVersion=1.0.4.RELEASE
springPlatformBomVersion=Cairo-SR2
springCloudVersion=Finchley.RELEASE

网关应用：

@SpringBootApplication
@ComponentScan(basePackages = {"com.example"})
@EntityScan(basePackages = {"com.example"})
@EnableFeignClients(basePackages = "com.example")
public class GatewayApplication {

    public static void main(String[] args) {
        SpringApplication.run(GatewayApplication.class, args);
    }
}

问题陈述：

在我的一个微服务中，一个 REST API 需要 3 多分钟才能完成。 如果我通过nginx(api.example.com) 调用此 API，它会在恰好在 1 分钟后失败并给出 HTTP 状态 504。

卷曲：

curl --request GET \
  --url http://api.example.com/hellomicroservice/api/take/moretime

错误：

504 Timeout while reading the response from Server

nginx 或 API 网关中没有错误日志。

从 nginx 访问日志：

203.129.213.102 - - [01/Apr/2019:08:14:33 +0000] "GET hellomicroservice/api/take/moretime HTTP/1.1" 499 0 "-" "PostmanRuntime/7.3.0"

但是当我直接调用同一个 API 到网关（在网关端口 8080 上）时，请求被成功处理。

curl 与网关端口：

curl --request GET \
  --url http://api.example.com:8080/hellomicroservice/api/take/moretime

---

编辑：

如果我将 Nginx 超时设置应用为小于 60 秒（例如 30 秒），则请求会在指定的时间间隔内超时。但是如果我将 Nginx 超时设置为超过 60 秒，我们设置为 300 秒，请求在 60 秒后超时。

Answer 1

我想这是由于许多其他事情而可能发生的问题之一。这是一个对我有用的解决方案（我在/var/log/nginx/error.log 中也遇到了错误：

2020/12/30 21:47:47 [错误] 26765#26765: *13064 上游超时 （110：连接超时）同时连接到上游，客户端：XXX， 服务器：example.com，请求：“GET /eshop HTTP/1.0”，上游： “http://[::1]:8080/error_50x.html”，主机：“example.com”

奇怪的是，这并没有发生在我的笔记本电脑上，而只是发生在我的服务器上。所以我检查了 IP，结果可能是因为缺少 ::1 地址。当我将它添加到 lo 网络设备时，我无法复制超时。

sudo ip a add ::1/128 dev lo

下一步：（这是我的理解，我不是 100% 确定这一点：）此外，由于保持与 localhost Java 服务的连接的开销似乎高于仅在另一个请求时断开该连接并再次连接制作完成后，建议对代理使用以下设置（在您的 nginx 站点 .conf 中）：

proxy_http_version 1.1;
proxy_set_header Connection "";

见https://stackoverflow.com/a/10396874/3223505

Answer 2

尝试将您的超时设置放在 /etc/nginx/conf.d/timeout.conf 中（如果没有，请创建一个）。设置如下设置，

proxy_connect_timeout 600;
proxy_send_timeout 600;
proxy_read_timeout 600;
send_timeout 600;

Answer 3

由于您的配置缺少 proxy_http_version 键，上游可能仍未启用 Keepalive。

引用自：https://www.nginx.com/blog/tuning-nginx/#proxy_http_version

要启用与上游服务器的保持连接，您还必须在配置中包含以下指令：

proxy_http_version 1.1;
proxy_set_header Connection "";

我也会按照 Kris 的建议将 keepalive_timeout 保留在配置中。

Answer 4

看来请求超时对您来说不是问题。它的连接超时。 我认为我们需要查看

的标题

连接

AFAIK，Connection 标头定义，连接应该是持久的，或者谁有权维护/关闭它。如果连接是 keep-alive ，那么连接将是持久的。对于保持连接，客户端偶尔会发送一个 TCP ping 以确保服务器仍然处于活动状态并保持连接。根据 curl，此时间默认为每 60 秒一次。

现在nginx 必须配置为接受连接并使用 keepalive_timeout 指令使其保持活动状态一段时间。如果不存在，那么nginx 将不会是keep the connections alive。

这应该是nginx在日志中说499的原因。 HTTP499 是 nginx 中的一个自定义错误，表示客户端关闭了连接。在您的情况下，curl 将其关闭。为什么curl关闭呢？因为 nginx 没有响应 60 秒的 TCP ping，因为没有启用 keep-alive。

将 keepalive_timeout 添加到 ~500 或比应用程序超时更高的值应该可以解决您的问题。

现在，为什么它直接与 tomcat 一起工作？我认为 spring 使活动超时可以是无限的或非常高的值。通常在tomcat中也是60秒。

我希望这能解决您的问题。