反序列化大文件时出现 Protobuf 异常

Question

我正在使用 protobuf 将大对象序列化为二进制文件，以便反序列化并在以后再次使用。但是，我在反序列化一些较大的文件时遇到了问题。这些文件的大小约为 2.3 GB，当我尝试反序列化它们时，会抛出几个异常（按以下顺序）：

• 子消息读取不正确
• 线型无效；这通常意味着您在没有截断或设置长度的情况下覆盖了文件；见Using Protobuf-net, I suddenly got an exception about an unknown wire-type
• 源数据中出现意外的端组；这通常意味着源数据已损坏

我查看了第二个例外中提到的问题，但这似乎并未涵盖我遇到的问题。

我正在使用 Microsoft 的 HPC 包来生成这些文件（它们需要一段时间），因此序列化如下所示：

   using (var consoleStream = Console.OpenStandardOutput())
   {
            Serializer.Serialize(consoleStream, dto);
   }

我正在阅读以下文件：

    private static T Deserialize<T>(string file)
    {
        using (var fs = File.OpenRead(file))
        {
            return Serializer.Deserialize<T>(fs);
        }
    }

文件是两种不同的类型。一个大小约为 1GB，另一个约为 2.3GB。较小的文件都可以工作，而较大的文件则不能。任何想法这里可能出了什么问题？我意识到我没有提供很多细节，可以根据要求提供更多。

Answer 1

这里需要参考一下最近在protobuf list上的讨论：

Protobuf 使用 int 来表示大小，因此它可能支持的最大大小是

我猜测 protobuf-net 内部失败的原因基本相同。我可能可以更改 protobuf-net 以支持更大的文件，但我必须建议这是不推荐，因为看起来没有其他实现可以很好地处理如此庞大的数据。

修复可能只是在读取器/写入器层中将大量int 更改为long 的情况。但是：您的数据的布局是什么？如果有一个外部对象基本上是 实际 对象的列表，则可能有一种使用增量读取器的偷偷摸摸的方法（基本上，直接欺骗 repeated 支持）。