c# 在运行时存储大量数据的最佳方式答案

【问题标题】：c# best way to store huge amount of data during runtimec# 在运行时存储大量数据的最佳方式
【发布时间】：2013-07-18 14:03:23
【问题描述】：

在我的应用程序中，我有很多保存在特定路径结构中的小文件。我正在创建一个容器文件，我想在其中存储所有现有文件，该文件以包含每个文件的偏移量或文件大小等信息的标题开头。我正在使用 BinaryWriter 写入此文件。但是有很多重复项只添加到我的容器文件中一次。因此，我为每个文件创建一个哈希值，并将其与数据表中的现有哈希值进行比较。这就像它应该的那样工作，但我想知道这是否是好的做法，因为可能有大量数据。是否有更好或更高效的方法来实现我的目标？

这是我的实际代码：

// I parsed through my files and created my header
// all file paths were added to my tileList
DataTable dtImageInfos = new DataTable();
dtImageInfos.Columns.Add("tilename", typeof(String));
dtImageInfos.Columns.Add("hash", typeof(String));
dtImageInfos.Columns.Add("offset", typeof(long));

foreach (String tile in tileList)
{                            
    FileInfo f = new FileInfo(tile);
    int tileSize = Convert.ToInt32(f.Length);

    if (tileSize <= MAX_CHECK_SIZE)
    {
        Image tileImg = Image.FromFile(tile);
        String tileHash = createHashForImage(tileImg);
        DataTable dtCheck = dtImageInfos.Clone();                                 

        if (dtImageInfos.Rows.Count > 0)
            dtImageInfos.AsEnumerable().Where(t => t.Field<String>("hash").Equals(tileHash))
                            .CopyToDataTable(dtCheck, LoadOption.OverwriteChanges);c#                                

        if (dtCheck.Rows.Count == 0)
        {
            writer.Write(tileOffset);

            DataRow drNew = dtImageInfos.NewRow();
            drNew["tilename"] = tile;
            drNew["hash"] = tileHash;
            drNew["offset"] = tileOffset;
            dtImageInfos.Rows.Add(drNew);

            tileOffset += tileSize;
        }
        else
        {
            DataRow drCheck = dtCheck.Rows[0];
            writer.Write((long)drCheck["offset"]);
        }              
    }
    else
    {
        writer.Write(tileOffset);

        DataRow drNew = dtImageInfos.NewRow();
        drNew["tilename"] = tile;
        drNew["hash"] = "";
        drNew["offset"] = tileOffset;
        dtImageInfos.Rows.Add(drNew);

        tileOffset += tileSize;
    }
    writer.Write(tileSize);                            
}

foreach (DataRow drTile in dtImageInfos.Rows)
{
    byte[] tileData = File.ReadAllBytes(drTile["tilename"].ToString());
    writer.Write(tileData);
}

我希望我的问题可以理解。提前致谢

【问题讨论】：

您解释了您所做的事情，但不知道您为什么这样做，因此没有合适的方法来回答这个问题。它对您来说是否足够快？您是否遇到与性能相关的问题？我怀疑很多人喜欢阅读其他人未注释的代码。
用于存储大量持久数据的设备称为数据库。使用数据库。
OP 正在尝试创建自己的存档文件格式，.NET 4.5 具有 ZipFile 和 ZipArchive，只需几行代码即可存档/压缩和检索文件目录（平铺图像）。

标签： c# performance datatable storage

【解决方案1】：

使用最新版本的 c#.NET，只需使用 Zip 文件即可避免大量开销。

System.IO.Compression.ZipFile.CreateFromDirectory(folderPathWithTiles, containerPath);

您可以使用 .OpenRead 方法访问 zip 存档（容器文件）中的不同文件（切片）。

using (ZipArchive tiles = ZipFile.OpenRead(containerPath))
{
    ZipArchiveEntry tile = tiles.GetEntry(relativeTilePath);
    Image tileImage = Image.FromStream(tile.Open());
}

压缩文件： http://msdn.microsoft.com/en-us/library/system.io.compression.zipfile.aspx

压缩存档： http://msdn.microsoft.com/en-us/library/system.io.compression.ziparchive.aspx

ZipArchiveEntry： http://msdn.microsoft.com/en-us/library/system.io.compression.ziparchiveentry.aspx

【讨论】：