我实际上是在使用 Python 本身转储一个巨大的数据结构（多个列表和字典）并通过套接字将其发送到客户端。
每次我运行程序时，我都会在不同的位置收到ValueError: 'Expecting ',' delimiter: line 1 column 16177 (char 16176)（可能是第 25000 列，也可能是第 13000 列，它一直在变化）。
我应该使用 marshal 而不是 json（甚至是 pickle）吗？对于大文件大小，最可靠的格式是什么？
【问题讨论】：
标签： python json sockets marshalling pickle
我建议使用pickle（如果您使用的是 Python 2.X，则使用 cPickle），因为它几乎可以序列化任何东西，包括用户定义的类。而且，正如文档所说
marshal序列化格式不保证可跨 Python 版本移植。因为它的主要工作是支持.pyc文件，所以Python 实现者保留在需要时以非向后兼容的方式更改序列化格式的权利。pickle序列化格式保证在 Python 版本中向后兼容。
（强调我的）。
pickle的另一个优势：
pickle模块会跟踪它已经序列化的对象，因此以后对同一对象的引用不会再次被序列化。marshal不会这样做。这对递归对象和对象共享都有影响。 递归对象是包含对自身的引用的对象。 这些不是marshal处理的，实际上是试图marshal 递归对象会使你的 Python 解释器崩溃。对象共享 当有多个对同一对象的引用时发生 被序列化的对象层次结构中的不同位置。
pickle此类对象仅存储一次，并确保所有其他引用 指向主副本。共享对象保持共享，可以 对于可变对象非常重要。
如果pickle无法序列化某些数据，您也可以使用dill。
【讨论】：
pickle 上找到一些文档。
bytes 与string 几乎相同，但它们并不完全相等。 bytes 应该支持string 支持的几乎所有功能。所以，你应该可以做到"".join(...)。如果您正在读取文件（或套接字），则不需要任何bytes。你可以做a=pickle.loads(file.read())。