Pandas msgpack vs 泡菜

Question

Pandas 中的msgpack 应该是pickle 的替代品。

根据Pandas docs on msgpack：

这是一种轻量级的可移植二进制格式，类似于二进制 JSON， 这是高度节省空间的，并提供良好的性能 写入（序列化）和读取（反序列化）。

但是，我发现它的性能似乎无法与泡菜相提并论。

df = pd.DataFrame(np.random.randn(10000, 100))

>>> %timeit df.to_pickle('test.p')
10 loops, best of 3: 22.4 ms per loop

>>> %timeit df.to_msgpack('test.msg')
10 loops, best of 3: 36.4 ms per loop

>>> %timeit pd.read_pickle('test.p')
100 loops, best of 3: 10.5 ms per loop

>>> %timeit pd.read_msgpack('test.msg')
10 loops, best of 3: 24.6 ms per loop

问题：除了 pickle 的潜在安全问题之外，msgpack 与 pickle 相比有哪些优势？ pickle 仍然是序列化数据的首选方法，还是目前存在更好的替代方法？

Answer 1

泡菜更适合以下用途：

1. 数值数据或任何使用缓冲协议（numpy 数组）的数据（但前提是您使用最近的protocol=）
2. Python 特定对象，例如类、函数等。（尽管在这里您应该查看cloudpickle）

MsgPack 更适合以下情况：

1. 跨语言互操作。它是 JSON 的替代品，但有一些改进
2. 文本数据和 Python 对象的性能。在任何设置下，它都比 Pickle 快得多。

正如上面提到的@Jeff this blogpost 可能会感兴趣