如何利用磁盘 IO 队列

Question

我需要从一个 3.7 GB 的文件中读取一小段数据。我需要读取的位置是不相邻的，但我可以对 IO 进行排序，以便从头到尾读取文件。

文件存储在 iSCSI SAN 上，应该能够处理/优化排队的 IO。

问题是，我怎样才能一次性请求我需要的所有数据/位置？可能吗？我不认为异步 IO 是一个选项，因为读取非常小（20-200 字节）

目前代码如下：

using (var fileStream = new FileStream(dataStorePath, FileMode.Open, FileAccess.Read, FileShare.Read))
{
    for (int i = 0; i < internalIds.Count();i++ )
    {
        fileStream.Position = seekPositions[i].SeekPosition;
        ... = Serializer.DeserializeWithLengthPrefix<...>(fileStream, PrefixStyle.Base128);

    }
    ...
}

我正在寻找改进此 I/O 的方法，因为我的读取性能有些低于标准。移动头部的所有寻道时间似乎都在加起来。

Answer 1

您是否对此运行过 Performance Monitor（来自 Microsoft Sysinternals）？

我不确定问题是什么，但我会猜测一下。如果您正在从 SAN 读取数据，我认为磁盘访问会导致网络请求。第一次读取发送请求以查找、读取和缓冲数据，然后序列化程序构造对象。发送第二个请求时，SAN 磁盘继续旋转，因此您必须等待数据旋转到位。

您尝试过多线程吗？如果您设置一个需要按顺序处理的文件部分队列，启动一些线程，让它们分别打开文件（FileSharing.Read，以便他们都可以同时访问文件）和然后让他们开始从队列中获取工作。将结果输出到另一个集合中。如果顺序对输出很重要，您可以按照将它们排入队列的原始顺序对输出进行排序。

--- 编辑 ---

你试过ReadFileScatter API吗？ Here's a P-invoke signature from pinvoke.net.

Answer 2

制作一个单个后台线程作为磁盘代理。将所有读取操作发送给它，并让它对读取进行排序和合并。如果两个或更多区域接近，则读取包含它们的整个扇区并获取数据的子部分。异步返回数据。

Answer 3

仅作记录：

在 POSIX 环境中，您可以使用 readv 函数通过一次 (sys-) 调用请求文件的多个区域。 POSIX 环境中的另一个选项是非阻塞 IO。