【问题标题】:Measure and improve gigabit ethernet throughput测量和提高千兆以太网吞吐量
【发布时间】:2014-12-18 05:50:51
【问题描述】:

我们正在开发基于 Cyclone V 的定制板。它是运行嵌入式 Linux 内核 3.10-ltsi 的 FPGA+ARM SoC。我们的预期应用程序是通过 TCP 千兆以太网向运行在 Windows 7 上的 Java 客户端发送内存中 50-400MB 范围内的一大块原始大数据。 iperf 显示我们板子的 TCP 吞吐量在 6xxMBit/s 范围内。 问题: 1.我们有一个要求,我们需要在一定的时间间隔内发送原始内存数据。那么衡量我们案例吞吐量的正确方法是什么?目前我们只是像这样用 gettimeofday 包装发送代码:

int total_sent = 0, bytes_sent = 0;
gettimeofday(&t0, 0);
for (total_sent = 0; total_sent < data_size;) {
    bytes_sent = write(conn_fd, buf + total_sent, data_size - total_sent);
    if (bytes_sent == -1)
        break;
    total_sent += bytes_sent;
}
gettimeofday(&t1, 0);

unsigned long elapsed_us = (t1.tv_sec - t0.tv_sec) * 1000000 + t1.tv_usec - t0.tv_usec;
double elapsed_s = (double)elapsed_us / 1000000;
printf("Throughput: %f Mbit/s\n", img_size * 8 / elapsed_s / 1000000);
printf("Total bytes sent: %d\n", total_sent);

这是衡量吞吐量的正确方法吗?

2.是否可以通过两个以太网端口增加吞吐量?比如将原始数据分成两部分并通过两个端口发送。

3.在我们的案例中,增加吞吐量的最佳方法是什么?我们希望达到的最大吞吐量为 1024MBit/s。

【问题讨论】:

  • 这一次,您根本无法达到 1Gbps,因为协议(以太网、IP、TCP)有开销。您应该能够非常接近,但是如果您真的想要高吞吐量,您可能想要更改为 UDP 而不是 TCP,但是您必须自己实现一个轻量级的类似 TCP 的协议来处理数据包重新排序/丢失。另请注意,1Gbps 不是 1024Mbps,而是 1000Mbps。
  • 我知道 1Gbps 就是 1000Mbps。我提到的 1024Mbit/s 是我们吞吐量限制的最坏情况。通过使用UDP,是否有可能实现超过1Gbps的吞吐量?

标签: c linux tcp


【解决方案1】:
  1. 几个 cmets:gettimeofday() 系统调用的开销会影响您的测量。

  2. 确保以太网端口驱动程序已启用 NAPI。

  3. 如果您想要最大吞吐量,请尝试获取零副本。如果你被 TCP 卡住了,也许你可以使用 vmsplice() 做一些事情(参见:vmsplice() and TCP)。

  4. 为获得最佳结果,转储 TCP,使用带有 PACKET_MMAP 选项 (http://blog.superpat.com/2010/06/01/zero-copy-in-linux-with-sendfile-and-splice/) 的数据包套接字并实施可靠的 UDP 协议(​​例如,https://bitsecant.googlecode.com/svn-history/r8/trunk/src/net/rudp/ReliableServerSocket.java 用于 Win 7 对等方的 JAVA 实施)。

祝你好运

【讨论】:

  • 我会考虑您的建议。关于零拷贝,AFAIK,我们需要文件描述符才能使用 sendfile() 和 splice() 对吗?因为在我的情况下,数据已经在内存中。顺便说一句,为我的案例测量吞吐量的正确/准确方法是什么?
  • vmsplice() 是“从虚拟内存拼接” - 正是您所需要的。至于测量,如果您发送的数据足够大,那么 gettimeofday() 的开销在您的情况下可能可以忽略不计,但在其他情况下,我会使用您平台的循环计数器 - 这不需要系统调用和内核上下文切换。同样,在这种特殊情况下,如果发送外观运行多次迭代,它可能无论如何都无关紧要
最近更新 更多