序列化/反序列化大型数据集

Question

我有一个向服务器发送查询请求的报告工具。服务器完成查询后，将结果发送回请求报告工具。通信是使用 WCF 完成的。

存储在 DataSet 对象中的查询数据非常大，通常大约 100mb 大。

为了加快传输我序列化（BinaryFormatter）并压缩DataSet。服务器和报告工具之间传输的对象是一个字节数组。

但是，在几次请求之后，报告工具在尝试反序列化 DataSet 时会抛出 OutOfMemoryException。调用时抛出异常：

dataSet = (DataSet) formatter.Deserialize(dstream);

dstream是用于解压传输的压缩字节数组的DeflateStream。

当从流中创建字节数组时，在 formatter.Deserialize 的子调用中发生异常。

有没有其他的二进制序列化方式有更好的机制来防止这个异常？

实施：

DataSet的序列化和压缩方法（服务端使用）

public static byte[] Compress(DataSet dataSet)
{
    using (var input = new MemoryStream())
    {
        var binaryFormatter = new BinaryFormatter();
        binaryFormatter.Serialize(input, dataSet);

        using (var output = new MemoryStream())
        {
            using (var compressor = new DeflateStream(output, CompressionLevel.Optimal))
            {
                input.Position = 0;

                var buffer = new byte[1024];

                int read;

                while ((read = input.Read(buffer, 0, buffer.Length)) > 0)
                    compressor.Write(buffer, 0, read);

                compressor.Close();

                return output.ToArray();
            }
        }
    }
}

DataSet的解压反序列化方法（报表工具使用）

public static DataSet Decompress(byte[] data)
{
    DataSet dataSet;

    using (var input = new MemoryStream(data))
    {
        using (var dstream = new DeflateStream(input, CompressionMode.Decompress))
        {
            var formatter = new BinaryFormatter();
            dataSet = (DataSet) formatter.Deserialize(dstream);
        }
    }

    return dataSet;
}

堆栈跟踪：

at System.Array.InternalCreate(Void* elementType, Int32 rank, Int32* pLengths, Int32* pLowerBounds)
at System.Array.CreateInstance(Type elementType, Int32 length)
at System.Array.UnsafeCreateInstance(Type elementType, Int32 length)
at System.Runtime.Serialization.Formatters.Binary.ObjectReader.ParseArray(ParseRecord pr)
at System.Runtime.Serialization.Formatters.Binary.ObjectReader.ParseObject(ParseRecord pr)
at System.Runtime.Serialization.Formatters.Binary.ObjectReader.Parse(ParseRecord pr)
at System.Runtime.Serialization.Formatters.Binary.__BinaryParser.ReadArray(BinaryHeaderEnum binaryHeaderEnum)
at System.Runtime.Serialization.Formatters.Binary.__BinaryParser.Run()
at System.Runtime.Serialization.Formatters.Binary.ObjectReader.Deserialize(HeaderHandler handler, __BinaryParser serParser, Boolean fCheck, Boolean isCrossAppDomain, IMethodCallMessage methodCallMessage)
at System.Runtime.Serialization.Formatters.Binary.BinaryFormatter.Deserialize(Stream serializationStream, HeaderHandler handler, Boolean fCheck, Boolean isCrossAppDomain, IMethodCallMessage methodCallMessage)
at System.Runtime.Serialization.Formatters.Binary.BinaryFormatter.Deserialize(Stream serializationStream)
at DRX.PTClientMonitoring.Infrastructure.Helper.DataSetCompressor.Decompress(Byte[] data) in c:\_develop\PTClientMonitoringTool\PTClientMonitoringTool\Source\DRX.PTClientMonitoring.Infrastructure\Helper\DataSetCompressor.cs:line 51
at DRX.PTClientMonitoring.Reporting.ViewModels.ShellViewModel.<>c__DisplayClassf.<ExecudeDefinedQuery>b__4() in c:\_develop\PTClientMonitoringTool\PTClientMonitoringTool\Source\DRX.PTClientMonitoring.Reporting\ViewModels\ShellViewModel.cs:line 347

Answer 1

序列化前，设置：

yourDataSet.RemotingFormat = SerializationFormat.Binary;

这应该很有帮助。默认即使使用BinaryFormatter 也是xml。

但是请注意，DataSet 和 DataTable本质上不是优化的最佳候选者。有很多很棒的序列化工具可以在打包数据方面做得更好很多，但它们总是需要强类型模型，即List<SomeSpecificType>，其中SomeSpecificType 是 POCO/DTO 类。甚至 WCF 也只能勉强容忍DataTable/DataSet。所以如果你可以摆脱对DataTable/DataSet的依赖：我强烈建议这样做。

另一种选择是将数据作为Stream 发送。我很确定 WCF 本身就支持这一点，但这在理论上可以让您拥有一个实际上更大的不同 Stream（not MemoryStream）。作为一种廉价的选择，您可以使用临时文件作为暂存区域，但如果可行，您可以研究将多个缓冲区拼接在一起的自定义内存流。