多线程IOCP服务器中重叠结构的存储与管理

Question

使用 LINKED LIST 存储重叠结构是个好主意吗？

我的重叠结构是这样的

typedef struct _PER_IO_CONTEXT 
{

  WSAOVERLAPPED               Overlapped;
  WSABUF                      wsabuf;
  ....
  some other per operation data
  ....
  struct _PER_IO_CONTEXT      *pOverlappedForward;
  struct _PER_IO_CONTEXT      *pOverlappedBack;

 } PER_IO_CONTEXT, *PPER_IO_CONTEXT;

当 iocp 服务器启动时，我在链接列表中分配（例如）其中的 5000 个。此列表的开头存储在全局变量 PPER_IO_CONTEXT OvlList 中。我必须补充一点，我只在必须向所有连接的客户端发送数据的情况下使用这个链表。 当 Wsasend 发布或 GQCS 收到通知时，更新链表（我使用 EnterCriticalSection 进行同步）。 提前感谢您对更好的存储（缓存）重叠结构的提示、意见和建议。

Answer 1

我假设建议的用例是您希望缓存“每个操作”重叠结构以避免重复分配和释放动态内存，这可能导致分配器争用和堆碎片。

使用单个“池”将争用从“使用用于分配和销毁重叠结构的分配器的所有线程之间的争用”减少到“所有发出或处理 I/O 操作的线程之间的争用”，这通常是一件好事。您是对的，您需要围绕访问进行同步，关键部分或独占模式下的 SRW 锁可能是最好的（后者对于非竞争访问来说要快一点）。

堆碎片的减少也值得在长时间运行的系统中实现。

使用“标准”非侵入性列表，例如std::deque，起初看起来是显而易见的选择，但非侵入性集合的问题在于它们倾向于为每个操作分配和释放内存（所以你回来了你原来的论点）。恕我直言，最好在每个重叠的结构中放置一个指针并将它们简单地链接在一起。这不需要在访问池时分配或释放额外的内存，这意味着您的争用会回到使用池的线程。

我个人发现我只需要一个池（空闲列表）的每个操作结构的单链表，它实际上只是一个堆栈，如果我想维护一个“使用中”的列表，我需要一个双链表'per-operation' 数据有时很有用（虽然不是我现在做的事情）。

下一步可能是创建多个池，但这取决于您的系统设计和 I/O 的工作方式。

如果您可以对给定连接进行多个挂起的发送和接收操作，那么在连接级别设置一个小型池可能会很有用。这可以显着减少单个共享池的争用，因为每个连接都会首先尝试使用每个连接池，如果该池为空（或已满）则回退到使用全局池。这往往会导致对全局池锁的争用要少得多。