序列化 C++ 对象以通过套接字发送到 Python - 最佳方法？答案

【问题标题】：Serialize C++ object to send via sockets to Python - best approach?序列化 C++ 对象以通过套接字发送到 Python - 最佳方法？
【发布时间】：2014-05-21 13:48:04
【问题描述】：

我需要在两个不同的框架之间创建网络通信，一个用C++编写，另一个用Python编写。

为了交换数据，我想在C++ 中创建某种灵活的结构（基本上是一个结构），它被序列化，通过套接字发送到Python，然后反序列化。

最常用的方法是什么？我确信Boost 可以在任何一方都做到这一点，因为有boost python，但我不想过多地炸毁项目要求。那么除了指定自己的二进制数据格式之外，是否还有更小的库或其他优雅的解决方案？

更新：

下面是一个示例，如何使用 Googles protobuf 通过 UDP 将数据结构从 C++ 脚本发送到 Python 脚本。这已在 Mac OS X Mavericks 上进行了测试，但在其他 Unix 系统上也应该可以正常工作。

安装 protobuf

第一步当然是安装protobuf 库。我使用homebrew 作为主库，使用pip 安装Python 模块：

brew install protobuf
pip install protobuf

然后我使用原型语法定义了一个非常简单的数据结构：

文件名：foo.proto

package prototest;

message Foo {
  required int32 id = 1;
  required string bar = 2;
  optional string baz = 3;
}

这个原始文件现在可以通过以下方式翻译成 C++ 和 Python 类：

protoc foo.proto --cpp_out=. --python_out=.

该文件夹现在应该包含 C++ 头文件和源文件以及 Python 代码：

├── foo.pb.cc
├── foo.pb.h
├── foo.proto
└── foo_pb2.py

让我们看一下非常基本的C++ 代码，它旨在通过网络发送foo 的实例，使用UDP（到端口5555 上的本地主机）：

文件名：send.cc

#include <sys/socket.h>
#include <arpa/inet.h>

// this is our proto of foo
#include "foo.pb.h"

int main(int argc, char **argv)
{
  struct sockaddr_in addr;

  addr.sin_family = AF_INET;
  inet_aton("127.0.0.1", &addr.sin_addr);
  addr.sin_port = htons(5555);

  // initialise a foo and set some properties
  GOOGLE_PROTOBUF_VERIFY_VERSION;
  prototest::Foo foo;
  foo.set_id(4);
  foo.set_bar("narf");

  // serialise to string, this one is obvious ; )    
  std::string buf;
  foo.SerializeToString(&buf);

  int sock = socket(PF_INET, SOCK_DGRAM, 0);
  sendto(sock, buf.data(), buf.size(), 0, (struct sockaddr *)&addr, sizeof(addr));

  return 0;
}

我是通过clang++编译的：

clang++ -o send send.cc foo.pb.cc -lprotobuf

最后，这是 Python 代码，它等待 UDP 数据包并将它们反序列化为 foo。再说一遍：没有任何错误检查，这只是为了演示功能：

文件名：receive.py

import socket
from foo_pb2 import Foo

sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
sock.bind(("127.0.0.1", 5555))

foo = Foo()
while True:
    data, addr = sock.recvfrom(1024)
    foo.ParseFromString(data)
    print("Got foo with id={0} and bar={1}".format(foo.id, foo.bar))

现在我们完成了，这是最终的目录结构：

├── foo.pb.cc
├── foo.pb.h
├── foo.proto
├── foo_pb2.py
├── receive.py
├── send
└── send.cc

要测试脚本，只需运行receive.py 来监听UDP 数据包

python receive.py

并在执行 C++ 生成的 send 脚本时密切关注输出：

./send

【问题讨论】：

听起来像 Google 的 protocol buffers 可能很适合这里。
将对象转换为 XML 或 JSON？
JSON 是我目前的解决方案，没有提及。也感谢提到 protobuf，还没有听说过！

标签： python c++ serialization deserialization protocol-buffers

【解决方案1】：

Protocol Buffers 的继任者Cap'n Proto 也对 C++ 和 Python 有很好的支持。（披露：我是 Cap'n Proto 的作者，也是 Google 发布的大部分 Protobuf 代码的作者。）

【讨论】：

谢谢肯顿，我去看看！

【解决方案2】：

选择Protocol Buffers - Google Code，它有足够的资源用于c++ 和python。您可以创建一个兼容的结构，这两种语言都可以阅读。

Protocol Buffers 是一种序列化结构化数据的方法。像这样，它们对于开发相互通信的程序很有用通过电线或用于存储数据。该方法涉及一个接口描述某些数据结构的描述语言和从各种描述源代码生成的程序用于生成或解析字节流的编程语言表示结构化数据。 †

【讨论】：