序列化已知小结构数组的好方法

Question

我有大量的小结构，我想序列化到文件中。

结构：

public struct Voxel
{
  public byte density;
  public byte material;
}

虽然有很多序列化库可以非常有效地进行一般序列化，但我怀疑我们可以在磁盘大小和序列化/反序列化速度方面做得更好>，假设我们知道并控制这个结构。

这个结构是非常最终的，所以我们可以不用许多序列化库支持的花哨的版本控制。

从我的搜索来看，Marshal 似乎是一个不错的方法来做这样的事情，但我不想担心字节序之类的事情。

所以我想知道，有什么好的方法可以序列化这些数据。假设数组大小可以在 100 到 1 百万之间？

（还假设我们不害怕以不同的格式存储它们，这样 RLE 可以进一步减少磁盘大小。）

Answer 1

假设您使用的是最近的框架：跨度是您的朋友。作为编写它们的简单方式：

Voxel[] arr = ...
var bytes = MemoryMarshal.Cast<Voxel, byte>(arr);
using (var s = File.OpenWrite("some.path"))
{
    s.Write(bytes);
}

阅读有点困难，但并不难：

Voxel[] arr;
using (var s = File.OpenRead("some.path"))
{
    int len = checked((int)(s.Length / Unsafe.SizeOf<Voxel>())), read;
    arr = new Voxel[len];
    var bytes = MemoryMarshal.Cast<Voxel, byte>(arr);
    while (!bytes.IsEmpty && (read = s.Read(bytes)) > 0)
    {
        bytes = bytes.Slice(read);
    }
}

请注意，这假定您希望以向量 (Voxel[]) 开头；如果您乐于在兔子洞中更进一步，“内存映射文件”也是一个选项，再次使用Span<T>（或Memory<T>） - 然后它就变成了真正的零副本（您的实时数据是文件，通过操作系统魔法）。

Answer 2

对于未来的读者，我想出了一个解决方案，让我可以在 Unity Engine 中使用 @Marc Gravell 提出的解决方案，它只允许 .Net Standard 2.0；

诀窍是从 Microsoft 获得高性能软件包：

https://docs.microsoft.com/en-us/windows/communitytoolkit/high-performance/introduction

这意味着您可以从 UWP 或旧版 .NET Framework 应用程序、使用 Unity 编写的游戏、使用 Xamarin 的跨平台移动应用程序到 .NET Standard 库和现代 .NET Core 2.1 或 .NET Core 3.1 的任何应用程序中使用它应用程序。

通过扩展方法支持Stream.Write和Stream.Read与Span<T>：

https://docs.microsoft.com/en-us/dotnet/api/microsoft.toolkit.highperformance.extensions.streamextensions?view=win-comm-toolkit-dotnet-6.1

我还比较了二进制序列化的磁盘大小：

• 内存中：8KB（16x16x16 数组）
• 消息包格式：97KB
• MemoryMarshal.Cast：8KB

所以它按预期工作！