从文件中解析原始数据的最快和最有效的方法

Question

我正在做一些项目，我想知道哪种方式最有效地从文件中读取大量数据（我说的是 100 行到大约 30 亿行的文件，可以多想想）。读取后，数据将存储在结构化数据集中（vector<entry> 其中“entry”定义了结构化行）。

此文件的结构化行可能如下所示： string int int int string string 它也以适当的平台EOL 结尾，并以TAB 分隔

我希望完成的是：

1. 将文件读入内存（string）或vector<char>
2. 从我的缓冲区中读取原始数据并将其格式化到我的数据集中。

我需要考虑内存占用并具有快速的解析率。 我已经避免使用stringstream，因为它们看起来太慢了。

我还避免了对我的文件的多次 I/O 调用，方法是：

// open the stream
std::ifstream is(filename);

// determine the file length
is.seekg(0, ios_base::end);
std::size_t size = is.tellg();
is.seekg(0, std::ios_base::beg);

// "out" can be a std::string or vector<char>
out.reserve(size / sizeof (char));
out.resize(size / sizeof (char), 0);

// load the data
is.read((char *) &out[0], size);

// close the file
is.close();

我考虑过使用这个巨大的std::string，然后逐行循环，我会将行信息（字符串和整数部分）提取到我的数据集行中。有没有更好的方法来做到这一点？

编辑：此应用程序可以在 32 位、64 位计算机上运行，​​或者在超级计算机上运行更大的文件。

非常欢迎任何建议。

谢谢

Answer 1

一些随意的想法：

• 在开头使用vector::resize()（你这样做了）
• 一次读取大块文件数据，至少 4k，最好是 256k。将它们读入内存缓冲区，将该缓冲区解析为您的向量。
• 不要一次读取整个文件，这可能会导致不必要的交换。
• sizeof(char) 始终为 1 :)

Answer 2

虽然我不能代表具有 3 gig 线的超级计算机，但在台式机上的内存中将无处可去。

我认为您应该首先尝试弄清楚对该数据的所有操作。您应该尝试将所有算法设计为按顺序运行。如果您需要随机访问，您将一直进行交换。这种算法设计将对您的数据模型产生重大影响。

所以不要从读取所有数据开始，只是因为这是一个简单的部分，而是设计整个系统时清楚地了解整个处理过程中内存中的数据。

---

更新
当您在流的单次运行中进行所有处理并分阶段（读取 - 预处理 - ... - 写入）分离数据处理时，您可以有效地利用多线程。

---

终于

• 无论您想在数据循环中执行什么操作，都应尽量减少循环次数。确保您可以在读取循环中进行平均。
• 立即组成一个测试文件，大小和时间两种不同的方法是您期望的最坏情况

.

time
loop
    read line from disk
time
loop
    process line (counting words per line)
time
loop
    write data (word count) from line to disk
time

对。

time
loop
    read line from disk
    process line (counting words per line)
    write data (word count) from line to disk
time

如果您的算法已经在使用您的算法。否则组成一个（比如每行计算单词）。如果写入阶段不适用于您的问题，请跳过它。这个测试确实花费你不到一个小时的时间来写，但可以为你节省很多。