为什么 PyYAML 使用生成器来构造对象？

Question

我一直在阅读 PyYAML 源代码，试图了解如何定义一个合适的构造函数，我可以使用 add_constructor 添加该构造函数。我现在对该代码的工作原理有了很好的理解，但我仍然不明白为什么 SafeConstructor 中的默认 YAML 构造函数是生成器。比如SafeConstructor的方法construct_yaml_map：

def construct_yaml_map(self, node):
    data = {}
    yield data
    value = self.construct_mapping(node)
    data.update(value)

我了解生成器如何在BaseConstructor.construct_object 中使用，如下所示以存根一个对象，并且仅在将deep=False 传递给construct_mapping 时才使用来自节点的数据填充它：

    if isinstance(data, types.GeneratorType):
        generator = data
        data = generator.next()
        if self.deep_construct:
            for dummy in generator:
                pass
        else:
            self.state_generators.append(generator)

并且我了解在deep=False 为construct_mapping 的情况下，BaseConstructor.construct_document 中的数据是如何生成的。

def construct_document(self, node):
    data = self.construct_object(node)
    while self.state_generators:
        state_generators = self.state_generators
        self.state_generators = []
        for generator in state_generators:
            for dummy in generator:
                pass

我不明白的是，将数据对象存根并通过迭代 construct_document 中的生成器来处理对象的好处。是否必须这样做以支持 YAML 规范中的某些内容，还是提供性能优势？

This answer on another question 有点帮助，但我不明白为什么这个答案会这样：

def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    yield instance
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)

而不是这个：

def foo_constructor(loader, node):
    state = loader.construct_mapping(node, deep=True)
    return Foo(**state)

我已经测试过后一种形式适用于发布在另一个答案上的示例，但也许我错过了一些极端情况。

我使用的是 3.10 版的 PyYAML，但看起来有问题的代码与最新版 (3.12) 的 PyYAML 中的代码相同。

Answer 1

在 YAML 中，您可以使用 anchors and aliases。有了它，您可以直接或间接地创建自引用结构。

如果 YAML 没有这种自引用的可能性，您可以先构造所有子结构，然后一次性创建父结构。但是由于自我引用，您可能还没有孩子来“填写”您正在创建的结构。通过使用生成器的两步过程（我称之为两步，因为在方法结束之前它只有一个yield），您可以部分创建一个对象并使用自引用填充它，因为对象存在（即它在内存中的位置已定义）。

好处不在于速度，而纯粹是因为使自引用成为可能。

如果您从您引用的答案中简化示例，则会加载以下内容：

import sys
import ruamel.yaml as yaml


class Foo(object):
    def __init__(self, s, l=None, d=None):
        self.s = s
        self.l1, self.l2 = l
        self.d = d


def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    yield instance
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)

yaml.add_constructor(u'!Foo', foo_constructor)

x = yaml.load('''
&fooref
!Foo
s: *fooref
l: [1, 2]
d: {try: this}
''', Loader=yaml.Loader)

yaml.dump(x, sys.stdout)

但如果您将foo_constructor() 更改为：

def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)
    return instance

（去掉yield，添加最后的return），你会得到一个ConstructorError: with as message

found unconstructable recursive node 
  in "<unicode string>", line 2, column 1:
    &fooref

PyYAML 应该给出类似的消息。检查该错误的回溯，您可以看到 ruamel.yaml/PyYAML 尝试在源代码中解析别名的位置。