【发布时间】：2012-05-06 15:56:16
【问题描述】：
最近我决定优化我正在做的一些文件读取，因为正如大家所说，将大量数据读取到缓冲区然后使用它比使用大量小读取要快。而且我的代码现在当然要快得多，但是在进行了一些分析之后，memcpy 似乎占用了很多时间。
我的代码的要点是...
ifstream file("some huge file");
char buffer[0x1000000];
for (yada yada) {
int size = some arbitrary size usually around a megabyte;
file.read(buffer, size);
//Do stuff with buffer
}
我正在使用 Visual Studio 11，在分析我的代码后，它显示 ifstream::read() 最终调用 xsgetn()，它从内部缓冲区复制到我的缓冲区。这个操作占用了80%以上的时间！排在第二位的是uflow()，它占用了 10% 的时间。
有什么办法可以绕过这种复制吗？我可以以某种方式告诉ifstream 将我需要的大小直接缓冲到我的缓冲区中吗？ C 风格的FILE* 也使用这样的内部缓冲区吗？
更新：由于人们告诉我使用 cstdio...我已经做了一个基准测试。
编辑：不幸的是，旧代码充满了失败（它甚至没有读取整个文件！）。你可以在这里看到它：http://pastebin.com/4dGEQ6S7
这是我的新基准：
const int MAX = 0x10000;
char buf[MAX];
string fpath = "largefile";
int main() {
{
clock_t start = clock();
ifstream file(fpath, ios::binary);
while (!file.eof()) {
file.read(buf, MAX);
}
clock_t end = clock();
cout << end-start << endl;
}
{
clock_t start = clock();
FILE* file = fopen(fpath.c_str(), "rb");
setvbuf(file, NULL, _IOFBF, 1024);
while (!feof(file)) {
fread(buf, 0x1, MAX, file);
}
fclose(file);
clock_t end = clock();
cout << end-start << endl;
}
{
clock_t start = clock();
HANDLE file = CreateFile(fpath.c_str(), GENERIC_READ, FILE_SHARE_READ, NULL, OPEN_ALWAYS, NULL, NULL);
while (true) {
DWORD used;
ReadFile(file, buf, MAX, &used, NULL);
if (used < MAX) break;
}
CloseHandle(file);
clock_t end = clock();
cout << end-start << endl;
}
system("PAUSE");
}
时间是：
185
80
78
嗯...看起来使用 C 风格的 fread 比 ifstream::read 快。同样，使用windows ReadFile 仅提供微不足道的优势（我查看了代码，fread 基本上是ReadFile 的包装器）。看来我还是要改用 fread 了。
编写一个真正正确测试这些东西的基准是令人困惑的。
结论：使用<cstdio> 比<fstream> 快。 fstream 较慢的原因是因为 c++ 流有自己的内部缓冲区。这会在您读/写时导致额外的复制，并且这种复制占 fstream 所花费的全部额外时间。更令人震惊的是，额外花费的时间比实际读取文件的时间还要长。
【问题讨论】：
-
xsgetn通常是实际文件 IO 完成的地方。 -
cstdio 一路，加上一个基于您的访问模式的自定义类（用于预取、内存中延迟写入等）
-
您有机会尝试使用 C 文件 API 吗？ iostreams 库速度非常慢。
-
您为什么不使用可用的最佳解决方案而不是人为限制？最好的解决方案是内存映射文件，除非你想自己编写繁琐的跨平台实现，Boost.Interprocess 拥有最好的跨平台内存映射文件实现。如果标准 C++ 有这个可用，它不会在 Boost 中。
标签： c++ performance visual-c++ fstream memcpy