用于分层数据存储的最佳 C# 集合

Question

我的数据有层次关系。让我们想象一个人类染色体。我们有 24 条染色体，每条都是双链的（即 +/-），每条链上都有多个区域。让我们假设不同链和染色体上的区域是独立的。目前我将所有区域存储如下：

List<List<List<Region>>> regions; 

第一个列表表示染色体，第二个列表链，第三个列表表示区域。

出于我的处理目的，需要对这些列表进行各种插入/删除以及大量顺序和随机访问。而且由于可能存在大量区域（数十亿），因此在速度和内存消耗方面的效率至关重要。人类的染色体数量为 24 条，因此只有 2 条链：[24 x 2 x 1E+9] 的可能大小为regions。

regions 是基础，因此我想知道是否有更好的解决方案来处理我的内存中数据表示。

Answer 1

我认为最好创建一个自定义对象来保存分层数据。例如：

public class Region
{
    public List<Region> Regions { get; set; } 
    ... other properties, methods, etc
}

正如我所见，您需要使用这些数据进行一些繁重的计算。因此，您可能会尝试使此计算异步，如果是这样，请查看多线程集合的 System.Collections.Concurrent 命名空间。

Answer 2

从您的示例可以推断出您需要的最小单位是base-pair。

所以，我将它建模为类似

public class Genome
{
    public List<Chromosome> Chromosomes {get;set;} // has 23 elements on average
}

public class Chromosome
{
    public List<Region> Regions {get;set;}
}

public class Region
{
    public List<BasePair> BasePairs {get;set;}
}

public class BasePair
{ 
   // some combinations of proteins
}

根据您对数据的性能需求，我会使用数据库对其进行备份。

数据库在存储 30 亿个数据集（此处建议的大小）时通常没有问题， 并且您可以将数据库分布在多台计算机上以提高计算速度。

还有，最重要的是：数据库针对随机、顺序访问非常大的数据集进行了优化。数据库技术是计算机科学中最成熟的技术之一。