完全缓存 linux 导致 nic 掉线

Question

我有一个 dpdk 19 应用程序，并从 nic(MT27800 Family [ConnectX-5] 100G) 中读取 32 rx multiqueue with RSS。

所以有 32 个进程使用 dpdk 从 nic 接收流量，每个进程从不同的队列读取，从 mbuf 复制数据到分配的内存，累积到 6MB 并通过无锁队列将其发送到另一个线程，其他线程只将数据写入磁盘。因此 I/O 写入缓存在 linux 内存中。

所有进程都以cpu亲和力运行，grub中有isolcpus

这是从队列中读取的 32 个进程中每个进程发生的一些伪代码，我不能放真正的代码，太多了

MainFunction()
{
   char * local_buf = new...
   int nBufs = rte_eth_rx_burst(pi_nPort, pi_nQNumber, m_mbufs, 216);
   for(mbuf in m_mbufs)
   { 
       memcpy(local_buf+offset, GetData(mbuf),len);//accumulate to buf
       if(local_buf.len > MAX)
       {
          PushToQueue(local_buf);
          local_buf = new ...
       }
       rte_pktmbuf_free(mbuf);
   }
}

WriterThreadMainFunc
{
     While(QueueNotEmpty)      
     {
          buf = PullFromQ
          WriteToDisk(buf)
          delete buf;
     }

}

当服务器内存完全缓存时（我知道它仍然可用），我开始看到 nic 出现下降。

如果我每分钟从磁盘中删除数据，缓存的内存就会被释放，并且 nic 不会丢失。因此，水滴显然与缓存的数据相关联。在第一次下降之前，应用程序可以在没有下降的情况下运行 2 小时。该进程不使用太多内存，每个进程为 500 MB。

我怎样才能避免在 nic 跌落？

               total        used        free      shared  buff/cache   available
Mem:           125G         77G        325M         29M         47G         47G
Swap:          8.0G        256K        8.0G

我使用 Centos 9.7 linux 3.10.0-1160.49.1.el7.x86_64。

Answer 1

DPDK API rte_eth_rx_burst 使用 mempool（或 pktmbuf）内存区域来保存元数据和以太网帧。在每个 rx_burst 周期内部

1. 它检查本地缓存的 mempool 对象，将 pkt_mbuf 从物理 NIC 发送到 DMA
2. 如果没有找到本地缓存mbuf，则获取内存池锁并从内存池中获取mbuf。
3. 所有mbuf都用ref_cnt标记为1，表示mbuf正在使用而不是释放。
4. 除非调用 tx_burst or rte_mbuf_free，否则 mbuf 永远不会推送到本地缓存或内存池以供重用。

因此，正如代码 sn-p 中所共享的，WriterThreadMainFunc 的性能会影响内存池的可用性。也就是说，如果 rx_burst (Million Packet per Sec) 的速度大于

1. 函数 PullfromQueue
2. 或函数WriteToDisk
3. 或两者兼有

这将导致场景mbuf_free is slower than rx_burst。为了验证相同，可以

1. dpdk-prociinfo for stats and xstats，检查计数器rx_no_mbuf
2. 或为同一计数器集成get_stats and get_xstats。

通常文件在打开时（特别是在 RW 模式下）将缓存在 4k 页面或透明大页面上（希望从不设置）以提高性能。它看起来像 cmets 中的基于对话，因为缓存实际上 DISK IO 运行速度较慢，这导致 WriterThreadMainFunc 运行速度较慢。要按照 cmets 中的建议检查此行为，请

1. 使用echo 1 | sudo tee /proc/sys/vm/drop_caches。
2. 尝试定期使用fflush & fsync。
3. 或者创建ramdisk并打开文件在ramdisk上读写。

一旦问题被隔离，您可以使用setbuf(f, NULL) 在开始时禁用缓冲。

注意：还有许多其他选项，例如创建每个端口队列、每个流、每个流端口队列并使用 mmap 来满足当前要求。