如何读取和写入非固定长度的结构到二进制文件c++答案

【问题标题】：how to read and write non-fixed-length structs to biniary file c++如何读取和写入非固定长度的结构到二进制文件c++
【发布时间】：2021-10-22 23:27:53
【问题描述】：

我有结构向量：

typedef struct
{
    uint64_t id = 0;
    std::string name;
    std::vector<uint64_t> data;
} entry;

我想写入文件：

FILE *testFile = nullptr;
testFile = fopen("test.b", "wb");

但是普通的读/写方法

fwrite(vector.data(), sizeof vector[0], vector.size(), testFile);
fread(vector.data(), sizeof(entry), numberOfEntries, testFile);

不起作用，因为条目的大小可能因内容而异

std::string name;
std::vector<uint64_t> data;

所以我想要有关如何从文件中读取/写入这些数据的方法和指针。

【问题讨论】：

逐个元素地编写它，并包含有关向量有多少条目以及字符串有多少字符/字节的信息。尝试保存结构/类的内存表示通常效果不佳，并且在涉及非基本数据类型时肯定不会奏效。
进一步研究的关键词：序列化。

标签： c++ vector struct file-io cstdio

【解决方案1】：

在处理非固定大小的数据时，以某种方式跟踪大小非常重要。您可以简单地指定固定大小元素的数量或整个结构的字节大小，并在读取结构时计算所需的值。我赞成第一个，尽管它有时会使调试变得更加困难。

这是一个如何制作灵活的序列化系统的示例。

struct my_data
{
   int a;
   char c;
   std::vector<other_data> data;
}

template<class T>
void serialize(const T& v, std::vector<std::byte>& out)
{
   static_assert(false, "Unsupported type");
}

template<class T>
requires std::is_trivially_copy_constructible_v<T>
void serialize(const T& v, std::vector<std::byte>& out)
{
   out.resize(std::size(out) + sizeof(T));
   std::memcpy(std::data(out) + std::size(out) - sizeof(T), std::bit_cast<std::byte*>(&v), sizeof(T));
}

template<class T>
void serialize<std::vector<T>>(const std::vector<T>& v, std::vector<std::byte>& out)
{
   serialize<size_t>(std::size(v), out); // add size
   for(const auto& e : v)
      serialize<T>(v, out);
}

template<>
void serialize<my_data>(const my_data& v, std::vector<std::byte>& out)
{
   serialize(v.a, out);
   serialize(v.c, out);
   serialize(v.data, out);
}

// And likewise you would do for deserialize

int main()
{
   std::vector<std::byte> data;
   my_data a;
   serialize(a, data);

   // write vector of bytes to file
}

这是一项乏味的工作，并且已经有一些库可以为您完成这项工作，例如 Google's Flatbuffers、Google's Protobuf 或单个标头 BinaryLove3。其中一些使用聚合类型开箱即用（意味着所有成员变量都是公共的）。下面是 BinaryLove3 的示例。

#include <iostream>
#include <vector>
#include <string>
#include <cstdint>
#include <string>
#include <list>

#include "BinaryLove3.hpp"

struct foo
{
    uint32_t v0 = 3;
    uint32_t v1 = 2;
    float_t v2 = 2.5f;
    char v3 = 'c';
    struct
    {
        std::vector<int> vec_of_trivial = { 1, 2, 3 };
        std::vector<std::string> vec_of_nontrivial = { "I am a Fox!", "In a big Box!" };
        std::string str = "Foxes can fly!";
        std::list<int> non_random_access_container = { 3, 4, 5 };
    } non_trivial;
    struct
    {
        uint32_t v0 = 1;
        uint32_t v1 = 2;
    } trivial;
};

auto main() -> int32_t
{
    foo out = { 4, 5, 6.7f, 'd', {{5, 4, 3, 2}, {"cc", "dd"}, "Fly me to the moon..." , {7, 8, 9}}, {3, 4} };
    auto data = BinaryLove3::serialize(bobux);
    
    foo in;
    BinaryLove3::deserialize(data, in);
    return int32_t(0);
}

【讨论】：