如何将大文件（12gb）拆分为多个 1GB 压缩（.gz）档案？ C＃

Question

我有一个很大的 .bak 文件 - 接近 12GB。 我需要在代码中将其拆分为多个 2gb .gz 档案。

最大的问题是我需要稍后验证这个档案。

你知道当你在 3 或 4 个档案上用 winrar 拆分一个文件，然后你只需按下“解包”，它会将它们全部解包到一个文件中，或者如果没有足够的档案（你删除一个）崩溃.

我需要这样的东西。

public void Compress(DirectoryInfo directorySelected)
{
    int writeStat = 0;

    foreach (FileInfo fileToCompress in directorySelected.GetFiles())
    {
        using (FileStream originalFileStream = fileToCompress.OpenRead())
        {
            if ((File.GetAttributes(fileToCompress.FullName) &
               FileAttributes.Hidden) != FileAttributes.Hidden & fileToCompress.Extension != ".gz")
            {
                bytesToRead = new byte[originalFileStream.Length];
                int numBytesRead = bytesToRead.Length;

                while (_nowOffset < originalFileStream.Length)
                {                                
                    writeStat = originalFileStream.Read(bytesToRead, 0, homMuchRead);

                    using (FileStream compressedFileStream = File.Create(fileToCompress.FullName + counter + ".gz"))
                    {
                        using (GZipStream compressionStream = new GZipStream(compressedFileStream,
                           CompressionMode.Compress))
                        {
                            compressionStream.Write(bytesToRead, 0, writeStat);
                        }
                    }
                    _nowOffset = _nowOffset + writeStat;                        
                    counter++;
                }
                FileInfo info = new FileInfo(directoryPath + Path.DirectorySeparatorChar + fileToCompress.Name + ".gz");
                //Console.WriteLine($"Compressed {fileToCompress.Name} from {fileToCompress.Length.ToString()} to {info.Length.ToString()} bytes.");
            }
        }
    }
}

效果很好，但我不知道如何验证它们的计数。

我有 7 个关于测试对象的存档。但是如何在一个文件中读取它们，并验证该文件是否已满。

Answer 1

GZip 格式本身并不支持你想要的。

Zip 可以，该功能称为“跨区存档”，但 .NET 中的 ZipArchive 类没有。为此，您需要一个第三方库，例如 DotNetZip。

但有解决方法。

创建一个继承自Stream抽象类的类，对外假装它是一个可以写入但不能读取或查找的单个流，在实现中写入多个片段，2GB/每个。在实现中使用 .NET 提供的 FileStream。在您班级的long 字段中跟踪写入的总长度。只要下一次Write() 调用超过 2GB，就写入足够的字节以达到 2GB，关闭并处理底层 FileStream，打开另一个具有下一个文件名的文件，将文件长度计数器重置为 0，然后从您在 Write() 调用中获得的缓冲区。重复直到关闭。

创建自定义流的实例，传递给 GZipStream 的构造函数，并将完整的 12GB 源数据复制到 GZipStream 中。

如果你做对了，在输出时你会得到大小正好 2GB 的文件（除了最后一个）。

要读取和解压缩它们，您需要使用自定义流实现类似的技巧。编写一个动态连接多个文件的流类，假装它是一个流，但这次你只需要实现Read() 方法。将该连接流从框架中提供给GZipStream。如果您要重新排序或销毁某些部件，GZipStream 很有可能（但不是 100%）解压失败，抱怨 CRC 校验和。

附：要实现和调试上述 2 个流，我建议使用更小的数据集，例如12 MB 数据，分成 1MB 压缩块。一旦你让它工作，增加常数并使用完整的 12GB 数据进行测试。