【问题标题】:Calculating hard drive throughput计算硬盘吞吐量
【发布时间】:2015-10-25 05:43:12
【问题描述】:

我的应用程序创建了一个 2GB 的文件,并且需要选择系统上最快且有足够空间的驱动器。我正在尝试通过创建文件、设置长度、然后按如下顺序向其写入数据来计算吞吐量:

FileInfo file = null;
var drives = DriveInfo.GetDrives();
var stats = new List<DriveInfoStatistics>();

foreach (var drive in drives)
{
    do
    {
        file = new FileInfo(Path.Combine(drive.RootDirectory.FullName, Guid.NewGuid().ToString("D") + ".tmp"));
    }
    while (file.Exists);

    try
    {
        using (var stream = file.Open(FileMode.CreateNew, FileAccess.Write, FileShare.None))
        {
            var seconds = 10;
            var frameRate = 120F;
            var bytesWritten = 0L;
            var bytesPerPixel = 1;
            var watch = new Stopwatch();
            var videoSize = new Size(1328, 1048);
            var buffer = new byte [(int) (videoSize.Width * videoSize.Height * bytesPerPixel)];

            stream.SetLength((long) (videoSize.Width * videoSize.Height * bytesPerPixel * frameRate * seconds));

            watch.Restart();
            for (int i = 0; i < seconds; i++)
            {
                for (int j = 0; j < frameRate; j++)
                {
                    stream.Write(buffer, 0, buffer.Length);
                    bytesWritten += buffer.Length;
                }
            }
            watch.Stop();

            stats.Add(new DriveInfoStatistics(drive, bytesWritten / watch.Elapsed.TotalSeconds));
        }
    }
    catch
    {
    }
    finally
    {
        file.Refresh();
        if (file.Exists) { try { file.Delete(); } finally { file.Refresh(); } }
    }
}

if (stats.Count == 0)
{
    throw (new Exception("No suitable drives were found."));
}
else
{
    stats.Sort((x, y) => y.DataTransferRate.CompareTo(x.DataTransferRate));

    message
        = "The following drives are suitable candidates (best to worst):"
        + Environment.NewLine
        + Environment.NewLine
        + string.Join(Environment.NewLine, stats.ConvertAll<string>(s => (s.DriveInfo.RootDirectory.FullName.Substring(0, 2).ToUpper() + " " + ConversionUtilities.ToIsuBytesNotation(s.DataTransferRate) + "ps")))
        + Environment.NewLine
        + Environment.NewLine
        + "Test results may vary based on other applications accessing the drives."
        + Environment.NewLine
        + Environment.NewLine
        + "Try the test with the system configured as it would be in production."
        ;

    MessageBox.Show(message);
}

我得到的结果毫无意义:

桌面

D: 4.15 GBps // SSD.
F: 4.09 GBps // HDD (5200 RPM).
E: 4.06 GBps // HDD (7500 RPM).
C: 4.03 GBps // SSD.
H: 2.45 GBps // Ram Disk!!!
  • 首先,SSD 和 HDD 靠得太近了。
  • 其次,速度比我预期的要快得多。
  • 第三,Ram Disk(使用 RAMDisk 创建)似乎具有最低的吞吐量。实际上,在写入实际视频数据时,Ram Disk 的性能远远优于其他磁盘。

笔记本电脑

E: 981.24 MBps // Ram Disk.
C: 100.17 MBps // HDD (5200 RPM).
D: 055.94 MBps // HDD (5200 RPM).

同样的代码在我的开发笔记本上的结果更可信。

上面的代码有问题吗?如果不是,您如何解释 SSD 的吞吐量为 4 GBps 而 RAM 磁盘的吞吐量最高为 2.5 GBps?

我了解影响吞吐量的因素有很多,而且基准测试软件非常复杂。但是,在我的情况下,以每秒 120 帧的速度编写 2GB 视频文件而不丢失帧是至关重要的,并且上面的代码应该向用户提供关于使用哪个驱动器来保存瞬态视频帧的快速而肮脏的建议。这些帧随后经过后处理并转码为只有几兆字节大小的 MP4 视频。

最后,我尝试了上面的代码以及来自SysinternalsContig.exe,以确保连续布局以获得更好的HDD 性能。但是,我没有注意到性能上的差异,这表明文件没有足够的碎片来开始(在创建时)。

【问题讨论】:

    标签: c# .net hard-drive throughput


    【解决方案1】:

    如果一个程序将数据写入磁盘,会发生很多不同的事情:

    首先将数据写入RAM缓冲区,并在数据传输到下一个阶段之前以写入程序方式确认操作。

    然后将数据写入硬盘控制器,该控制器可以进行自己的缓存。

    然后数据被写入硬盘驱动器,而硬盘驱动器又可以进行自己的缓存。

    用高级软件测量真实吞吐量是非常复杂的。

    一种可能性:编写一个非常大的文件,预计该文件比操作系统/控制器/硬盘驱动器中的任何缓存都大得多。这可以让您很好地估计持续写作率

    【讨论】:

    • 我认为粗略地了解相对速度会比这更简单。在我的情况下,实际速度并不重要。我还没有找到一种方法来确定给定磁盘是 HDD、SSD 还是 Ram 磁盘。无需执行实际的写入测试,这些信息就足够了。
    • 记住其他可能发生的事情,av、加密、压缩。
    • 我没有阅读太多关于此事的文章,但stackoverflow.com/questions/13726522/… 讨论了一种确定磁盘是 ssd 还是 hdd 的解决方案。
    • @BugFinder:我已经排除了所有形式的转码、压缩、动态处理,以支持顺序写入速度。我们只需从相机硬件缓冲区中获取原始数据,然后直接以二进制格式写入,无需任何转换。
    • @prettyvoid:谢谢。似乎链接问题中的方法不是万无一失的,但它是我能提供的最接近合理建议的方法。我仍然不知道我是否在进行自己的编写测试(问题中包含的代码)。
    猜你喜欢
    • 1970-01-01
    • 2012-11-22
    • 2016-10-25
    • 1970-01-01
    • 1970-01-01
    • 2020-07-19
    • 2019-06-03
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多