我正在使用字典，我需要在其中存储近 13 000 000 个键。不幸的是，在添加第 11 950 000 个密钥后，我得到了一个异常“系统内存不足”。这个问题有什么解决办法吗？将来我需要我的程序在比我的实际功能更弱的计算机上运行..
我需要这么多键，因为我需要存储对 - 序列名称和序列长度，用于解决生物信息学相关问题。
我们将不胜感激。
【问题讨论】：
标签： c# dictionary limit
购买更多内存，安装 64 位版本的操作系统并重新编译为 64 位。不，我不是在开玩笑。如果你想要这么多对象......在ram中......然后称之为“功能”。如果新的Android可以需要16gb的内存来编译...
我忘记了...您可以先阅读C# array of objects, very large, looking for a better way
你知道一千三百万个物体有多少吗？
为了进行比较，32 位 Windows 应用程序可以访问不到 2 GB 的地址空间。所以它是 20 亿字节（给予或接受）...... 20 亿 / 1300 万 = 大约 150 字节/对象。现在，如果我们考虑一个引用类型占用了多少……吃掉 150 个字节是很容易的。
我要补充一点：我查看了我的Magic 8-Ball，它告诉我：向我们展示您的代码。如果您不告诉我们您使用什么作为键和值，我们应该如何帮助您？你在使用什么，class 或 struct 或“原始”类型？告诉我们您的TKey 和TValue 的“大小”。可悲的是我们的水晶球昨天坏了:-)
【讨论】：
Dictionary 非常节省内存。因此，将字典中的 13M 项放入 2 GB 的内存中并非不现实。但你是对的，它很容易超过它不再适合的尺寸。
> Count。对于 13M 个对象，它在我的测试中使用的实际素数是 23,997,907。
C# 不是一种旨在解决繁重的科学计算问题的语言。绝对可能使用 C# 来构建工具来做你想做的事，但是像 Dictionary 这样的现成部件旨在解决更常见的业务问题，比如将邮政编码映射到城市等等之类的。
您将不得不使用某种外部存储。我的建议是购买一个数据库并用它来存储您的数据。然后使用DataSet或一些类似的技术将数据的部分加载到内存中，对其进行操作，然后将更多数据从数据库中倒入DataSet中，等等。
【讨论】：
嗯，我遇到了几乎完全相同的问题。
我想从数据库中将大约 1250 万个 [string, int] 加载到字典中（对于上面所有不明白为什么的编程“神”，答案是当你工作时它会快得多如果您可以在内存中缓存一部分关键表，则使用 150 GB 的数据库）。
它令人讨厌地在几乎同一个地方抛出了一个内存不足的异常——尽管该进程只消耗了大约 1.3 GB 的内存（在 db 中进行了明智的更改后减少到大约 800 MB 的内存，但它却在 1200 万大关之下）读取方法不要尝试一次全部完成） - 尽管在具有 8 GB 内存的 I7 上运行。
解决方案实际上非常简单 - 在解决方案资源管理器中的 Visual Studio (2010) 中，右键单击项目并选择属性。 在 Build 选项卡中将 Platform Target 设置为 x64 并重新构建。
它可以在几秒钟内将加载到字典中的负载嘎嘎作响，并且字典性能非常好。
【讨论】：
简单的解决方案就是使用简单的数据库。在这种情况下，最明显的解决方案是恕我直言，使用 SQLite .NET ，快速、简单且内存占用少。
【讨论】：
我认为您需要一种新的处理方法。
我必须假设您从文件或数据库中获取数据，无论哪种方式都应该保留。
除了增加系统内存之外，您实际上无法增加对字典中存储值数量的限制，但无论如何，处理如此大量的数据都是一种效率极低的方法。
您应该重新考虑您的算法，以便以更易于管理的部分处理数据。这将意味着分阶段处理它，直到你得到你的结果。这可能意味着要经过数百次数据传递，但这是唯一的方法。
我还建议您考虑使用泛型来帮助加快这种重复处理并减少内存使用。
请记住，系统性能和对外部存储数据（无论是外部磁盘存储还是数据库）的访问之间仍然存在平衡。
【讨论】：
这不是 Dictionary 对象的问题，而是服务器中的可用内存问题。我已经进行了一些调查以了解字典对象的失败，但它从未失败过。以下是供您参考的代码
private static void TestDictionaryLimit()
{
int intCnt = 0;
Dictionary<long, string> dItems = new Dictionary<long, string>();
Console.WriteLine("Total number of iterations = {0}", long.MaxValue);
Console.WriteLine("....");
for (long lngCnt = 0; lngCnt < long.MaxValue; lngCnt++)
{
if (lngCnt < 11950020)
dItems.Add(lngCnt, lngCnt.ToString());
else
break;
if ((lngCnt % 100000).Equals(0))
Console.Write(intCnt++);
}
Console.WriteLine("Completed..");
Console.WriteLine("{0} number of items in dictionary", dItems.Count);
}
上面的代码执行正常，存储的数量比你提到的要多。
【讨论】：
真的 13000000 个项目是相当多的。 如果分配了 13000000 个类，那就是对垃圾收集器胃的一个非常深的打击！
另外，如果你找到一种使用默认 .NET 字典的方法，性能会非常糟糕，键太多，键的数量接近 31 位散列可以使用的值的数量，无论如何性能都会很糟糕你使用的系统，当然，内存会太多！
如果您需要一个可以使用比哈希表更多内存的数据结构，您可能需要一个自定义哈希表与自定义二叉树数据结构混合。 是的，可以编写自己的两个组合。
对于这个如此奇怪和具体的问题，你不能肯定地依赖 .net 哈希表。
考虑一棵树的查找复杂度为 O(log n)，而构建复杂度为 O(n * log n)，当然，构建它会太长。 然后，您应该构建一个二叉树哈希表（反之亦然），这样您就可以同时使用这两种数据结构，从而减少内存消耗。
然后，考虑在 32 位模式下编译它，而不是在 64 位模式下：64 位模式使用更多内存来存储指针。 同时，可能相反，32 位地址空间可能不足以解决您的问题。 我从来没有遇到过可以用完 32 位地址空间的问题！
如果键和值都是简单的值类型，我建议你在 C dll 中编写数据结构并通过 C# 使用它。
你可以试着写一本字典。 比方说，您可以将数据分成 26 个字典之间的 500000 个项目块，但是占用的内存会非常大，不要认为您的系统会处理它。
public class MySuperDictionary
{
private readonly Dictionary<KEY, VALUE>[] dictionaries;
public MySuperDictionary()
{
this.dictionaries = new Dictionary<KEY, VALUE>[373]; // must be a prime number.
for (int i = 0; i < dictionaries.Length; ++i)
dictionaries[i] = new Dicionary<KEY, VALUE>(13000000 / dictionaries.Length);
}
public void Add(KEY key, VALUE value)
{
int bucket = (GetSecondaryHashCode(key) & 0x7FFFFFFF) % dictionaries.Length;
dictionaries[bucket].Add(key, value);
}
public bool Remove(KEY key)
{
int bucket = (GetSecondaryHashCode(key) & 0x7FFFFFFF) % dictionaries.Length;
return dictionaries[bucket].Remove(key);
}
public bool TryGetValue(KEY key, out VALUE result)
{
int bucket = (GetSecondaryHashCode(key) & 0x7FFFFFFF) % dictionaries.Length;
return dictionaries[bucket].TryGetValue(key, out result);
}
public static int GetSecondaryHashCode(KEY key)
{
here you should return an hash code for key possibly using a different hashing algorithm than the algorithm you use in inner dictionaries
}
}
【讨论】：
有了这么多键，您应该使用数据库或 memcache 之类的东西，同时换出存储中的缓存块。我怀疑你一次需要所有的东西，如果你这样做了，它就不可能在内存很少的低功率机器上工作。
【讨论】：