如何提高文件读取速度？

Question

我有超过一百万行的大型 .txt 文件，每行包含 7 列浮点数。列通过空格分隔。

目前，我通过读取每一行（getline）来导入文件，将行转换为流，然后将七个值存储到数组变量中（请参阅我的最小示例）。但是，此过程非常缓慢，300 万行 (500MB) 大约需要 10 分钟。这相当于 0.8 MB/s，比写入文件要慢得多。我的硬盘是 SSD。

您能给我建议如何提高代码的效率吗？

最佳，费边

C++

#include <iostream>
#include <string>
#include <sstream>
#include <fstream>

struct Container { double a, b, c, d, e, f, g; };

void read_my_file(std::ifstream &file, Container *&data) {
    std::string line;
    std::stringstream line_as_stream;
    unsigned int column;
    unsigned long int row;

    data = new Container[300000]; //dynamically allocated because the 
                                  //length is usually a user input.

    for (row = 0; row < 300000; row++) {
        getline(file, line);
        line_as_stream.str(line);

        for (column = 0; column < 7; column++) {
            line_as_stream >> data[row].a;
            line_as_stream >> data[row].b;
            line_as_stream >> data[row].c;
            line_as_stream >> data[row].d;
            line_as_stream >> data[row].e;
            line_as_stream >> data[row].f;
            line_as_stream >> data[row].g;
        }

        line_as_stream.clear();
    }
}

int main(void) {
    Container *data = nullptr;
    std::ifstream file;

    file.open("./myfile.txt", std::ios::in);
    read_my_file(file, data);
    std::cout << data[2].b << "\n";

    file.close();

    return 0;
}

Answer 1

我认为这是因为默认情况下 C++ 不是缓冲流。所以在第一个循环中你只得到一条线（因为它没有缓冲），通过迭代你一次又一次地访问硬盘驱动器（这会很慢）。you may want to look at this question, it might help you.