为什么 std::fstream 在 Windows 上比 WriteFile 快

Question

我尝试了各种不同的标志组合，例如 FILE_FLAG_NO_BUFFERING 和 FILE_FLAG_OVERLAPPED，但 fstream::write 仍然优于 Windows API 版本。

std::fstream 是否使用了内部缓冲或其他技巧，还是我只是搞砸了什么？

#include <Windows.h>
#include <chrono>
#include <fstream>
#include <iostream>

std::string createTempFileName()
{
    char buf[800];
    tmpnam_s(buf, sizeof(buf));
    return buf;
}

using namespace std::chrono;

int main()
{
    std::uint64_t count = 1 << 23;

    std::cout << "test fstream\n";
    {
        auto start = steady_clock::now();
        auto path = createTempFileName();
        std::fstream fs(path, std::ios_base::out | std::ios_base::in | std::ios_base::trunc | std::ios_base::binary);
        for (std::uint64_t i = 0; i < count; i++)
            fs.write((char*)&i, sizeof(i));
        fs.close();
        DeleteFile(path.c_str());
        auto end = steady_clock::now();
        std::cout << "fstream: Elapsed time in milliseconds : " << duration_cast<milliseconds>(end - start).count() << " ms\n";
    }

    std::cout << "test WriteFile\n";
    {
        auto start = steady_clock::now();
        auto path = createTempFileName();
        HANDLE file = CreateFile(path.c_str(), GENERIC_WRITE, 0, 0, CREATE_ALWAYS, FILE_FLAG_NO_BUFFERING, NULL);
        for (std::uint64_t i = 0; i < count; i++)
            WriteFile(file, &i, sizeof(i), NULL, NULL);
        CloseHandle(file);
        DeleteFile(path.c_str());
        auto end = steady_clock::now();
        std::cout << "WriteFile: Elapsed time in milliseconds : " << duration_cast<milliseconds>(end - start).count() << " ms\n";
    }
}

Answer 1

我想显而易见的答案是查看 Visual Studio 附带的源代码，但既然您选择不这样做，那么让我们使用我们的神奇思维帽来代替。

在 Windows 上写入文件的记录方法并不多，C/C++ 运行时将使用一些 Windows API 进行写入。按受欢迎程度排名，我猜我们正在查看WriteFile、内存映射文件和IStream。 IStream 是 COM 并且级别太高。当您不知道最终大小时，内存映射文件很烦人，因此WriteFile 是最有可能的候选者。

WriteFile 在用户模式下做了一些小工作，但最终会以上下文切换到内核模式而告终。

在您的循环中，您每次仅写入 8 个字节，因此 CPU 时间的很大一部分将用于切换内核模式以及内核（和存储硬件）为此所做的任何缓冲文件句柄并不能阻止这一点。

您正在将FILE_FLAG_NO_BUFFERING 标志传递给CreateFile，但未能完成使这些写入对齐所需的任何工作，并且您未能检查WriteFile 的返回值！它可能会失败，并且就我们所知，整个测试可能无效。

C/C++ 运行时通常愿意选择速度而不是大小/内存使用，这里的神奇词是缓冲。在这种特定情况下，即使是一个很小的 ​​16 字节缓冲区也可能会使您的速度几乎翻倍。您可以尝试通过以下方式关闭此缓冲：

std::fstream fs;
fs.rdbuf()->pubsetbuf(NULL, 0);
fs.open(...