C++ 协议缓冲区，发送整数数组

Question

我有一个嵌入式 C++ 项目，我从硬件设备读取一系列 int32，然后将它们打包到一个 int 数组中作为大型数据结构的一部分，然后通过 TCP/IP 发送到远程系统。所以，我使用了一个定义了一堆东西的简单数据结构，现在我想将它转换为使用协议缓冲区。 所以，我正在考虑使用“重复的 int32 数据”作为我的 proto buff 的元素。但我想避免使用这样的循环：

int hardware_data[1000]; // An array that holds the data read from the hardware
for(int i=0; i< sizeof(hardware_data); i++ )
{
    proto.add_data( hardware_data[i] );
}

我更愿意使用一种有效的方法，例如使 proto buff 只指向现有的 hardware_data[] 数组（零复制方法），或者使用 memcpy 从 hardware_data 到 proto.data。

我了解如何设置 memcpy()，但是 proto 爱好者如何知道 proto.data“数组”中有多少元素？ 我仍然可以使用 proto.data_size() 来获取元素的数量吗？ 有没有一种有效的方法可以将数据从我的硬件读取移动到 proto buff 以进行发送？ 有没有更好的方法来做到这一点？

克里克， 我不知道零拷贝 API。这是我的原型定义：

message hardware_data 
{
optional    Lob                     lob             = 1;
optional    int32                   taskSeqNum      = 2;
optional    int32                   secondsOfDay    = 3;
optional    float                   IQOutRateKhz    = 4;
optional    float                   IQBwKhz         = 5;
optional    int32                   tStart          = 6;
optional    int32                   tOffset         = 7;
optional    float                   collectionTime  = 8;
optional    int32                   numSamples      = 9;
optional    int32                   chunk           = 10;
optional    int32                   dimSize         = 11;
repeated    int32                   data            = 12 [packed=true];
}

我不确定零副本将如何影响这个原型 buff 定义。

Answer 1

在网络上，一个打包的重复 int32 被编码为一系列 varint。 varint 是一种可变宽度编码，其中较小的值占用较少的空间。当然，这不是数据在数组中的表示方式，因此将其嵌入到消息零拷贝中是不可能的。

不过，事实上，您目前正在制作两份副本，您可以消除其中一份。考虑将数据直接粘贴到google::protobuf::RepeatedField<int> 中，而不是直接分配int hardware_data[1000]。然后，您可以巧妙地使用 Swap() 将该数据移动到没有副本的消息中：

RepeatedField<int> hardware_data;
hardware_data.Reserve(expected_size);
get_data_somehow(&hardware_data);

// later
proto.mutable_data()->Swap(&hardware_data);

序列化消息后，您可能希望另外将字段 Swap() 回退，以便您可以重用已保留的内存。 （RepeatedField::Clear() 不会释放底层内存，只是标记它以供重用。）

尽管如此，序列化消息仍然需要复制数据作为编码的一部分。即使您将编码更改为打包重复的 fixed32（实际上在线上编码为 32 位整数），也无法说服库直接使用您的内存。