TCP 接收窗口大小高于 net.core.rmem_max

Question

我正在通过 10Gbit 链路连接的两台服务器之间运行iperf 测量。我正在尝试将我观察到的最大窗口大小与系统配置参数相关联。

特别是，我观察到最大窗口大小为 3 MiB。但是，我在系统文件中找不到对应的值。

通过运行sysctl -a，我得到以下值：

net.ipv4.tcp_rmem = 4096        87380   6291456
net.core.rmem_max = 212992

第一个值告诉我们最大接收器窗口大小为 6 MiB。然而，TCP 倾向于分配两倍的请求大小，因此最大接收器窗口大小应该是 3 MiB，正如我测量的那样。来自man tcp：

请注意，TCP 实际上分配了 setsockopt(2) 调用中请求的缓冲区大小的两倍，因此后续的 getsockopt(2) 调用将不会返回与 setsockopt(2) 调用中请求的相同大小的缓冲区。 TCP 将额外空间用于管理目的和内部内核结构，并且 /proc 文件值反映了与实际 TCP 窗口相比更大的大小。

但是，第二个值 net.core.rmem_max 表示最大接收器窗口大小不能超过 208 KiB。根据man tcp，这应该是硬限制：

tcp_rmem max：每个 TCP 套接字使用的接收缓冲区的最大大小。此值不会覆盖全局 net.core.rmem_max。这不是用来限制在套接字上使用 SO_RCVBUF 声明的接收缓冲区的大小。

那么，我怎么会观察到大于net.core.rmem_max 中指定的最大窗口大小？

注意：我还计算了带宽延迟乘积：window_size = Bandwidth x RTT，大约为 3 MiB（10 Gbps @ 2 毫秒 RTT），从而验证了我的流量捕获。

Answer 1

快速搜索出现了：

https://github.com/torvalds/linux/blob/4e5448a31d73d0e944b7adb9049438a09bc332cb/net/ipv4/tcp_output.c

在void tcp_select_initial_window()

if (wscale_ok) {
    /* Set window scaling on max possible window
     * See RFC1323 for an explanation of the limit to 14
     */
    space = max_t(u32, sysctl_tcp_rmem[2], sysctl_rmem_max);
    space = min_t(u32, space, *window_clamp);
    while (space > 65535 && (*rcv_wscale) < 14) {
        space >>= 1;
        (*rcv_wscale)++;
    }
}

max_t 取参数的较高值。所以这里的值较大。

另一个对sysctl_rmem_max 的引用用于将参数限制为SO_RCVBUF（在net/core/sock.c 中）。

所有其他 tcp 代码仅引用 sysctl_tcp_rmem。

因此，无需深入研究代码，您就可以得出结论，更大的net.ipv4.tcp_rmem 在所有情况下都会覆盖net.core.rmem_max，除非设置SO_RCVBUF（可以使用SO_RCVBUFFORCE 绕过其检查）

Answer 2

net.ipv4.tcp_rmem根据https://serverfault.com/questions/734920/difference-between-net-core-rmem-max-and-net-ipv4-tcp-rmem优先net.core.rmem_max：

tcp 设置似乎优先于常见的 max 设置

---

但我同意你的说法，这似乎与man tcp 中写的内容相冲突，我可以重现你的发现。也许文档是错误的？请了解并发表评论！