将 Python namedtuple 序列化为 json

Question

将namedtuple 序列化为 json 并保留字段名称的推荐方法是什么？

将namedtuple 序列化为 json 只会导致值被序列化，而字段名称在翻译中会丢失。我希望在 json 化时也保留这些字段，因此执行以下操作：

class foobar(namedtuple('f', 'foo, bar')):
    __slots__ = ()
    def __iter__(self):
        yield self._asdict()

上面的内容按照我的预期序列化为 json，并且在我使用的其他地方（属性访问等）表现为 namedtuple，除了在迭代它时出现非元组类似的结果（这对我的用例来说很好）。

在保留字段名的情况下转换为json的“正确方法”是什么？

Answer 1

如果您要序列化的只是一个namedtuple，则使用其_asdict() 方法将有效（Python >= 2.7）

>>> from collections import namedtuple
>>> import json
>>> FB = namedtuple("FB", ("foo", "bar"))
>>> fb = FB(123, 456)
>>> json.dumps(fb._asdict())
'{"foo": 123, "bar": 456}'

Answer 2

这很棘手，因为namedtuple() 是一个工厂，它返回从tuple 派生的新类型。一种方法是让您的类也继承自 UserDict.DictMixin，但 tuple.__getitem__ 已经定义，并且需要一个整数来表示元素的位置，而不是其属性的名称：

>>> f = foobar('a', 1)
>>> f[0]
'a'

从本质上讲，namedtuple 非常适合 JSON，因为它实际上是一个自定义构建的类型，其键名作为类型定义的一部分是固定的，不像字典中键名是存储在实例中。这可以防止您“往返”命名元组，例如如果没有其他一些信息，您无法将字典解码回命名元组，例如 dict {'a': 1, '#_type': 'foobar'} 中的特定于应用程序的类型标记，这有点 hacky。

这并不理想，但是如果您只需要将命名元组编码 到字典中，另一种方法是扩展或修改您的 JSON 编码器以对这些类型进行特殊处理。这是一个子类化 Python json.JSONEncoder 的示例。这解决了确保嵌套命名元组正确转换为字典的问题：

from collections import namedtuple
from json import JSONEncoder

class MyEncoder(JSONEncoder):

    def _iterencode(self, obj, markers=None):
        if isinstance(obj, tuple) and hasattr(obj, '_asdict'):
            gen = self._iterencode_dict(obj._asdict(), markers)
        else:
            gen = JSONEncoder._iterencode(self, obj, markers)
        for chunk in gen:
            yield chunk

class foobar(namedtuple('f', 'foo, bar')):
    pass

enc = MyEncoder()
for obj in (foobar('a', 1), ('a', 1), {'outer': foobar('x', 'y')}):
    print enc.encode(obj)

{"foo": "a", "bar": 1}
["a", 1]
{"outer": {"foo": "x", "bar": "y"}}

Answer 3

看起来您以前可以继承 simplejson.JSONEncoder 来完成这项工作，但使用最新的 simplejson 代码，情况已不再如此：您必须实际修改项目代码。我看不出为什么 simplejson 不应该支持 namedtuples，所以我分叉了这个项目，添加了 namedtuple 支持，我是currently waiting for my branch to be pulled back into the main project。如果您现在需要修复，只需从我的 fork 中提取即可。

编辑：看起来simplejson 的最新版本现在通过namedtuple_as_object 选项原生支持此功能，默认为True。

Answer 4

我为此编写了一个库：https://github.com/ltworf/typedload

它可以往返于命名元组。

它支持相当复杂的嵌套结构，包括列表、集合、枚举、联合、默认值。它应该涵盖最常见的情况。

edit：该库还支持 dataclass 和 attr 类。

Answer 5

它递归地将 namedTuple 数据转换为 json。

print(m1)
## Message(id=2, agent=Agent(id=1, first_name='asd', last_name='asd', mail='2@mai.com'), customer=Customer(id=1, first_name='asd', last_name='asd', mail='2@mai.com', phone_number=123123), type='image', content='text', media_url='h.com', la=123123, ls=4512313)

def reqursive_to_json(obj):
    _json = {}

    if isinstance(obj, tuple):
        datas = obj._asdict()
        for data in datas:
            if isinstance(datas[data], tuple):
                _json[data] = (reqursive_to_json(datas[data]))
            else:
                 print(datas[data])
                _json[data] = (datas[data])
    return _json

data = reqursive_to_json(m1)
print(data)
{'agent': {'first_name': 'asd',
'last_name': 'asd',
'mail': '2@mai.com',
'id': 1},
'content': 'text',
'customer': {'first_name': 'asd',
'last_name': 'asd',
'mail': '2@mai.com',
'phone_number': 123123,
'id': 1},
'id': 2,
'la': 123123,
'ls': 4512313,
'media_url': 'h.com',
'type': 'image'}

Answer 6

还有一个更方便的解决方案是使用装饰器（它使用受保护的字段_fields）。

Python 2.7+：

import json
from collections import namedtuple, OrderedDict

def json_serializable(cls):
    def as_dict(self):
        yield OrderedDict(
            (name, value) for name, value in zip(
                self._fields,
                iter(super(cls, self).__iter__())))
    cls.__iter__ = as_dict
    return cls

#Usage:

C = json_serializable(namedtuple('C', 'a b c'))
print json.dumps(C('abc', True, 3.14))

# or

@json_serializable
class D(namedtuple('D', 'a b c')):
    pass

print json.dumps(D('abc', True, 3.14))

Python 3.6.6+：

import json
from typing import TupleName

def json_serializable(cls):
    def as_dict(self):
        yield {name: value for name, value in zip(
            self._fields,
            iter(super(cls, self).__iter__()))}
    cls.__iter__ = as_dict
    return cls

# Usage:

@json_serializable
class C(NamedTuple):
    a: str
    b: bool
    c: float

print(json.dumps(C('abc', True, 3.14))

Answer 7

jsonplus 库为 NamedTuple 实例提供了一个序列化程序。如果需要，使用它的兼容模式输出简单的对象，但更喜欢默认，因为它有助于解码。

Answer 8

这是一个老问题。然而：

对所有有相同问题的人的建议，请仔细考虑使用NamedTuple 的任何私有或内部功能，因为它们以前有，并且会随着时间的推移再次改变。

例如，如果您的 NamedTuple 是一个平面值对象，并且您只对序列化它感兴趣，而不是在它嵌套到另一个对象的情况下，您可以避免 __dict__ 带来的麻烦被删除或_as_dict() 改变，然后做类似的事情（是的，这是 Python 3，因为这个答案是目前的）：

from typing import NamedTuple

class ApiListRequest(NamedTuple):
  group: str="default"
  filter: str="*"

  def to_dict(self):
    return {
      'group': self.group,
      'filter': self.filter,
    }

  def to_json(self):
    return json.dumps(self.to_dict())

我尝试使用 default 可调用 kwarg 到 dumps 来进行 to_dict() 调用（如果可用），但由于 NamedTuple 可转换为列表，因此没有调用。

Answer 9

使用原生 python json 库无法正确序列化 namedtuples。它将始终将元组视为列表，并且不可能覆盖默认序列化程序来更改此行为。如果对象是嵌套的，那就更糟了。

最好使用更健壮的库，例如 orjson：

import orjson
from typing import NamedTuple

class Rectangle(NamedTuple):
    width: int
    height: int

def default(obj):
    if hasattr(obj, '_asdict'):
        return obj._asdict()

rectangle = Rectangle(width=10, height=20)
print(orjson.dumps(rectangle, default=default))

=>

{
    "width":10,
    "height":20
}

Answer 10

这是我对这个问题的看法。它序列化 NamedTuple，处理折叠的 NamedTuple 和其中的 Lists

def recursive_to_dict(obj: Any) -> dict:
_dict = {}

if isinstance(obj, tuple):
    node = obj._asdict()
    for item in node:
        if isinstance(node[item], list): # Process as a list
            _dict[item] = [recursive_to_dict(x) for x in (node[item])]
        elif getattr(node[item], "_asdict", False): # Process as a NamedTuple
            _dict[item] = recursive_to_dict(node[item])
        else: # Process as a regular element
            _dict[item] = (node[item])
return _dict

Answer 11

simplejson.dump() 代替 json.dump 完成这项工作。不过可能会慢一些。