如果 I/O 完成端口数据包可能以不同的顺序出列，为什么 I/O 完成端口数据包会按 FIFO 顺序排队？

Question

Microsoft 的 I/O Completion Ports 文档指出：

请注意，虽然 [completion] 数据包按 FIFO 顺序排队，但它们可能会以不同的顺序出队。

据我了解，线程通过调用GetQueuedCompletionStatus从完成端口获取完成包。如果系统不保证数据包将按 FIFO 顺序检索，为什么系统会按 FIFO 顺序将数据包排队到完成端口？

Answer 1

您引用的语句旨在让您意识到，如果需要在单个套接字上的 I/O 完成之间进行排序，则需要进行自己的排序。如果您在单个套接字上发出多个 WSARecv 调用，您可能需要这个。当它们完成时，完成将按 FIFO 顺序进入 IOCP 队列，这将是发出 WSARecv 调用的顺序。

如果您继续阅读该文档，您将看到这篇文章：

在 I/O 完成端口上阻止其执行的线程是 以后进先出 (LIFO) 顺序发布，下一次完成 数据包从 I/O 完成端口的 FIFO 队列中拉出 线。这意味着，当完成数据包被释放到 线程，系统释放关联的最后一个（最近的）线程 使用该端口，将最旧的完成信息传递给它 I/O 完成。

这表明完成以 FIFO 顺序从 IOCP 中删除。第一个注释的原因是，如果您有多个线程在 IOCP 上等待，那么线程调度问题可能意味着您的代码处理完成的顺序与从 IOCP 中检索它们的顺序不同。

假设您有 2 个线程服务于一个 IOCP 和一个带有 3 个 WSARecv 待处理的 TCP 套接字。足够的数据来自网络以完成所有三个待处理的 WSARecv，因此您最终在 IOCP 中完成了三个；我们将它们称为 A、B 和 C。这些是发出 WSARecv 调用的顺序，因此应处理缓冲区 A、B 和 C 中的数据以保持 TCP 流的健全性。

您的第一个 IOCP 线程将完成 A。第二个线程将完成 B。取决于您的硬件（内核数量等）和 OS 调度程序，线程 1 或线程 2 可能接下来运行或者两者可以同时运行。这可能会导致您在上述情况下出现问题。

我个人通过在编写可以在单个套接字上发出多个 WSARecvs 的服务器时向每个缓冲区添加一个序列号来解决这个问题。序列号递增，插入缓冲区并在同一个锁内发出 WSARecv，因此整个操作是原子的。当完成发生时，我确保只有一个线程处理给定套接字的缓冲区（请参阅here），或者我使用“顺序缓冲区集合”可以确保以正确的顺序处理缓冲区（请参阅here） .

另请注意，为确保正确性，您需要锁定在给定套接字上发出 WSARecv（和 WSASend）调用（请参阅here）

Answer 2

1. 首先，尽可能使缓冲区足够大以接收所有数据。
2. 不要为一个套接字多次发布 WSARecv 接收。
3. 连接后或读取数据后，处理这些日期，最后发布 WSARecv。

sum: 任何时候一个socket只有一个接收缓冲区。

我只为一个 iocp 句柄完成了服务器端、客户端、文件读取、写入、TCP 和 UDP 的 IOCP 服务器。