当vector的大小太大时，如何解决C++中内存不足的问题？

Question

测试两个向量是否相同

见下方代码

#include <iostream>
#include <vector>
#include <string>
int main(void) {
    std::vector<std::string> vstr1(131, "asdf");
    std::vector<std::string> vstr2(33131, "asdf");

    std::cout << (vstr1 == vstr2) << std::endl;;
    std::cout << "******************************" << std::endl;

    return 0;
}

效果很好。

现在我将 vstr2 的大小改为非常large，例如 33333333333131

#include <iostream>
#include <vector>
#include <string>
int main(void) {
    std::vector<std::string> vstr1(131, "asdf");
    std::vector<std::string> vstr2(33333333333131, "asdf");

    std::cout << (vstr1 == vstr2) << std::endl;;
    std::cout << "******************************" << std::endl;

    return 0;
}

不工作，错误信息是

terminate called after throwing an instance of 'std::bad_alloc' 
what()  std::bad_alloc
Aborted    (core dumped)     a.out

我已经收集到由于内存分配失败而发生的错误。

如何处理非常大的向量？

Answer 1

这里有两个问题：

1) 如果每个 std::string 只需要 1 字节的 RAM 来存储，则 33333333333131 字符串的向量将需要大约 30 TB 的数据。实际上，每个std:string 需要几十个字节（至少），所以要求会更大。您的计算机上不太可能有那么多可用的 RAM（或交换空间）。

2) 如果您的计算机在 32 位模式下运行，您（通常）被限制为您的进程的地址空间少于 2^32 字节（也就是 4 GB）——可能会少一点，或者如果您的计算机启用了一些特殊的分页技巧，则会增加几千兆字节。因此，在这种情况下，即使您确实拥有 30+TB 的 RAM，您也无法直接访问所有这些。

至于如何处理像 tera-vector 这样非常大的数据结构，通常要考虑的阈值是您是否希望安装足够的物理 RAM 以将所有数据放入 RAM。如果你这样做了，那就太好了——只需使用一个向量（或任何你喜欢的内存数据结构）并使用它。如果没有，如果您配置了足够的交换空间来保存数据，您可能仍然可以使用内存中的数据结构，但是由于磁盘 I/O 比 RAM 慢得多，您可能会发现这对您来说太慢了目的。

如果您无法将数据结构放入 RAM，那么您有几个选择：

1. 将数据结构拆分为可管理大小的小块，一次只处理一个块，而不是试图一次保存整个数据

2. 将数据保存在磁盘而不是 RAM 中，一次只加载其中的一部分，对其进行操作，然后写出结果。 （这实际上只是 (1) 的变体）

3. 将任务拆分到多台计算机上，并让每台计算机仅并行处理部分任务。继续添加计算机，直到您有足够的计算机来充分处理这项工作。

4. 退后一步，重新考虑您要解决的问题。它真的需要存储这么多数据吗？为什么？是否有任何可能的替代方法来解决可以减少存储需求的问题？如果您需要存储 TB 的数据，您可能要么确切地知道自己在做什么（因此可能不会在 StackOverflow 上询问有关它的问题），或者您正在做一些非常低效的事情。

   李>

5. （不得已）购买更多存储硬件。如今，您只需花费一辆新法拉利的成本，就可以获得一台具有 30 TB 磁盘存储空间和 0.5 TB RAM 的计算机，所以让自己失望吧！ :)