C#/.NET - 自定义二进制文件格式 - 从哪里开始？

Question

我需要能够以自定义二进制文件格式存储一些数据。我以前从未设计过自己的文件格式。它需要是一种在 C#、Java 和 Ruby/Perl/Python 世界之间穿梭的友好格式。

从文件开始将包含记录。一个 GUID 字段和一个 JSON/YAML/XML 数据包字段。我不确定用什么作为分隔符。逗号、制表符或换行符之类的东西似乎太脆弱了。 Excel 是做什么的？还是 XML 之前的 OpenOffice 格式？您应该使用 ASCII 字符 0 还是 1。不知道从哪里开始。有没有关于该主题的文章或书籍？

此文件格式稍后可能会扩展为包含“标题部分”。

注意：首先我将在 .NET 中工作，但我希望该格式易于移植。

更新：
“数据包”的处理可能很慢，但文件格式内的导航却不能。所以我认为 XML 是不可能的。

Answer 1

看看使用“协议缓冲区”怎么样？设计为一种高效、可移植、版本容错的通用二进制格式，它为您提供google library 中的 C++、Java 和 Python，以及 community ports 中的 C#、Perl、Ruby 和其他？

请注意，Guid 没有特定的数据类型，但您可以使用（基本上）byte[] 将其作为消息填充。

通常对于 .NET 工作，我推荐 protobuf-net（但作为作者，我有些偏见） - 但是，如果您打算以后使用其他语言，您可能会做得更好（长期）使用 Jon 的dotnet-protobufs；这将为您提供跨平台的熟悉 API（其中 protobuf-net 使用 .NET 习惯用法）。

Answer 2

我将尝试添加一些创建可移植二进制文件格式的一般提示。

请注意，发明二进制文件格式意味着记录其中的位必须如何传输以及它们的含义。不是编码，而是文档。

现在提示：

1. 决定如何处理 endianess。好的和简单的方法是一劳永逸地决定它。在普通 PC（即 x86）上使用时，最好选择小端，以节省转换（性能）。

2. 创建标题。是的，总是有一个标题是个好主意。文件的第一个字节应该能够告诉你，你在搞什么格式。

   • 从能够识别格式的魔法开始（ASCII 字符串可以解决问题）
   • 添加版本。添加文件格式的版本不会有什么坏处，并且可以让您以后进行向后兼容。

3. 最后，添加数据。现在，数据的格式将是特定的，它将始终基于您的确切需求。基本上，数据将存储在某种数据结构的二进制映像中。数据结构是你需要想出来的。

如果您需要通过某种索引随机访问您的数据，B-Trees 是不错的选择，而如果您只需要大量的数字来将它们全部写入然后读取它们，那么“数组”就可以了把戏。

此外，您可以使用TLV (Type-Length-Value) 概念来实现前向兼容性。

Answer 3

ASCII 字符 0 或 1 每个占用几个位（就像任何其他字符一样），所以如果你这样存储它，你的“二进制”文件将比​​它应该的大几倍。在零和一的文本文件不完全是二进制文件:)

您可以使用BinaryWriter 将原始数据直接写入file stream。您需要弄清楚的唯一部分是将您的内存格式（通常是某种对象图）转换为 BinaryWriter 可以使用的字节序列。

然而，如果您的主要兴趣是可移植性，我建议您完全不要使用二进制格式。 XML 正是为解决可移植性和互操作性问题而设计的。作为一种文件格式，它既冗长又繁重，但这是您为解决这些问题而做出的权衡。如果无法使用人类可读的格式，那么Marc's answer 是您的最佳选择。无需重新发明便携轮！

Answer 4

这取决于您将写入二进制文件的数据类型以及二进制文件的用途。它们是类对象还是只是记录数据？如果是记录数据，我建议将其以 xml 格式。这样，您可以包含模式验证以验证文件是否符合您的标准。在 java 和 .NET 中都有工具可以从 / 到 xml 格式导入和导出数据。

Answer 5

假设你的格式是：

    struct Format
    {
        struct Header // 1
        {
            byte a;
            bool b1, b2, b3, b4, b5, b6, b7, b8;
            string name;
        }
        struct Container // 1...*
        {
            MyTypeEnum Type;
            byte[] data;
        }
    }

    enum MyTypeEnum
    {
        Sound,
        Video,
        Image
    }

然后我会有一个顺序文件：

---

字节 // 一个

字节 // b

int //名称大小

char[] // 名称（具有上面指定的大小，记住 .NET 中的 char 是 16 位）

int // MyTypeEnum 类型

int //数据大小

byte[] // 数据（具有上面指定的大小）

---

然后你可以随意重复最后三行。

要阅读，请使用BinaryReader，它支持读取字节、整数和字节序列。还有一个BinaryWriter。

此外，请记住 Microsoft .NET（因此在 Windows/Intel 机器上）是 little-endian。 BinaryReader 和 BinaryWriter 也是如此。