【问题标题】:yield in list comprehensions and generator expressions列表推导和生成器表达式中的 yield
【发布时间】:2017-12-16 17:21:43
【问题描述】:

以下行为对我来说似乎很违反直觉(Python 3.4):

>>> [(yield i) for i in range(3)]
<generator object <listcomp> at 0x0245C148>
>>> list([(yield i) for i in range(3)])
[0, 1, 2]
>>> list((yield i) for i in range(3))
[0, None, 1, None, 2, None]

最后一行的中间值实际上并不总是None,它们是我们send进入生成器的任何东西,相当于(我猜)下面的生成器:

def f():
   for i in range(3):
      yield (yield i)

这三行完全有效,这让我觉得很有趣。 Reference 表示 yield 只允许在函数定义中使用(尽管我可能读错了和/或它可能只是从旧版本复制而来)。前两行在 Python 2.7 中生成 SyntaxError,但第三行没有。

而且,看起来很奇怪

  • 列表推导返回的是生成器而不是列表
  • 并且生成器表达式转换为列表和相应的列表推导包含不同的值。

有人可以提供更多信息吗?

【问题讨论】:

    标签: python generator list-comprehension yield generator-expression


    【解决方案1】:

    注意:这是 CPython 在理解和生成器表达式中处理 yield 的错误,已在 Python 3.8 中修复,在 Python 3.7 中出现弃用警告。请参阅Python bug reportPython 3.7Python 3.8新增功能 条目。

    生成器表达式、集合和字典推导被编译为(生成器)函数对象。在 Python 3 中,列表推导式得到相同的处理;它们本质上都是一个新的嵌套范围。

    如果您尝试反汇编生成器表达式,您会看到这一点:

    >>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
      1           0 LOAD_CONST               0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
                  3 LOAD_CONST               1 ('<genexpr>')
                  6 MAKE_FUNCTION            0
                  9 LOAD_NAME                0 (range)
                 12 LOAD_CONST               2 (3)
                 15 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
                 18 GET_ITER
                 19 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
                 22 POP_TOP
                 23 LOAD_CONST               3 (None)
                 26 RETURN_VALUE
    >>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
      1           0 LOAD_FAST                0 (.0)
            >>    3 FOR_ITER                11 (to 17)
                  6 STORE_FAST               1 (i)
                  9 LOAD_FAST                1 (i)
                 12 YIELD_VALUE
                 13 POP_TOP
                 14 JUMP_ABSOLUTE            3
            >>   17 LOAD_CONST               0 (None)
                 20 RETURN_VALUE
    

    上面显示了生成器表达式被编译为代码对象,作为函数加载(MAKE_FUNCTION 从代码对象创建函数对象)。 .co_consts[0] 引用让我们看到为表达式生成的代码对象,它使用 YIELD_VALUE 就像生成器函数一样。

    因此,yield 表达式在该上下文中起作用,因为编译器将这些视为变相的函数。

    这是一个错误; yield 在这些表达式中没有位置。 Python 3.7 之前的 Python 语法 允许它(这就是代码可编译的原因),但 yield expression specification 表明在此处使用 yield 实际上不应该工作:

    yield 表达式仅在定义 generator 函数时使用,因此只能在函数定义体中使用。

    这已被确认为issue 10544 中的一个错误。该bug的解决方法是使用yieldyield fromraise a SyntaxError in Python 3.8;在 Python 3.7 it raises a DeprecationWarning 中确保代码停止使用此构造。如果您使用 -3 command line switch 启用 Python 3 兼容性警告,您将在 Python 2.7.15 及更高版本中看到相同的警告。

    3.7.0b1 警告如下所示;将警告变成错误会给你一个SyntaxError 异常,就像你在 3.8 中一样:

    >>> [(yield i) for i in range(3)]
    <stdin>:1: DeprecationWarning: 'yield' inside list comprehension
    <generator object <listcomp> at 0x1092ec7c8>
    >>> import warnings
    >>> warnings.simplefilter('error')
    >>> [(yield i) for i in range(3)]
      File "<stdin>", line 1
    SyntaxError: 'yield' inside list comprehension
    

    列表解析中的yield 和生成器表达式中的yield 之间的差异源于这两个表达式的实现方式不同。在 Python 3 中,列表推导式使用 LIST_APPEND 调用将堆栈顶部添加到正在构建的列表中,而生成器表达式则生成该值。添加(yield &lt;expr&gt;) 只是添加另一个YIELD_VALUE 操作码:

    >>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
      1           0 BUILD_LIST               0
                  3 LOAD_FAST                0 (.0)
            >>    6 FOR_ITER                13 (to 22)
                  9 STORE_FAST               1 (i)
                 12 LOAD_FAST                1 (i)
                 15 YIELD_VALUE
                 16 LIST_APPEND              2
                 19 JUMP_ABSOLUTE            6
            >>   22 RETURN_VALUE
    >>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
      1           0 LOAD_FAST                0 (.0)
            >>    3 FOR_ITER                12 (to 18)
                  6 STORE_FAST               1 (i)
                  9 LOAD_FAST                1 (i)
                 12 YIELD_VALUE
                 13 YIELD_VALUE
                 14 POP_TOP
                 15 JUMP_ABSOLUTE            3
            >>   18 LOAD_CONST               0 (None)
                 21 RETURN_VALUE
    

    分别位于字节码索引 15 和 12 的 YIELD_VALUE 操作码是额外的,是鸟巢中的杜鹃。因此,对于 list-comprehension-turned-generator,您每次都有 1 个 yield 产生堆栈顶部(用 yield 返回值替换堆栈顶部),对于生成器表达式变体,您产生顶部堆栈(整数),然后再次 yield ,但现在堆栈包含 yield 的返回值,而您第二次得到 None

    对于列表推导,仍会返回预期的 list 对象输出,但 Python 3 将其视为生成器,因此返回值作为 value 属性附加到 StopIteration exception

    >>> from itertools import islice
    >>> listgen = [(yield i) for i in range(3)]
    >>> list(islice(listgen, 3))  # avoid exhausting the generator
    [0, 1, 2]
    >>> try:
    ...     next(listgen)
    ... except StopIteration as si:
    ...     print(si.value)
    ... 
    [None, None, None]
    

    那些None 对象是yield 表达式的返回值。

    再次重申这一点;同样的问题也适用于 Python 2 和 Python 3 中的字典和集合理解;在 Python 2 中,yield 返回值仍然添加到预期的字典或集合对象中,并且返回值最后是“yielded”而不是附加到 StopIteration 异常:

    >>> list({(yield k): (yield v) for k, v in {'foo': 'bar', 'spam': 'eggs'}.items()})
    ['bar', 'foo', 'eggs', 'spam', {None: None}]
    >>> list({(yield i) for i in range(3)})
    [0, 1, 2, set([None])]
    

    【讨论】:

    • 请注意,根据语言规范,yield-atom 允许在表达式内部(在生成器函数内部)。如果 yield-atom 以某种方式错误实现,这可能会带来更大的问题。
    • @skyking:这就是我要说的;语法允许它。我提到的错误是尝试使用yield 作为生成器函数内的生成器表达式的一部分,其中期望yield 适用于生成器函数,而不是生成器表达式嵌套范围。
    • 哇。确实非常翔实。所以,如果我理解正确,发生了以下情况:一个包含yieldreturn 的函数应该,如所记录的,成为一个生成器函数,其returned 值应该落在StopIteration 异常中,并且内部带有yield 的列表理解的字节码看起来(虽然不是有意的),就像这样的函数的字节码。
    • @zabolekar:类似的东西;这些步骤类似于:编译器遇到列表理解,因此构建了一个代码对象;编译器遇到yield 表达式,因此将当前代码对象标记为生成器。瞧,我们有一个生成器函数。
    • @Chris_Rands 当您使用-3 兼容性警告时,2.7 的更改就在那里。
    猜你喜欢
    • 2018-07-29
    • 2011-08-14
    • 2011-07-27
    • 2019-02-02
    • 2021-04-07
    • 2015-01-14
    相关资源
    最近更新 更多