注意:这是 CPython 在理解和生成器表达式中处理 yield 的错误,已在 Python 3.8 中修复,在 Python 3.7 中出现弃用警告。请参阅Python bug report 和Python 3.7 和Python 3.8 的新增功能 条目。
生成器表达式、集合和字典推导被编译为(生成器)函数对象。在 Python 3 中,列表推导式得到相同的处理;它们本质上都是一个新的嵌套范围。
如果您尝试反汇编生成器表达式,您会看到这一点:
>>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
1 0 LOAD_CONST 0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
3 LOAD_CONST 1 ('<genexpr>')
6 MAKE_FUNCTION 0
9 LOAD_NAME 0 (range)
12 LOAD_CONST 2 (3)
15 CALL_FUNCTION 1 (1 positional, 0 keyword pair)
18 GET_ITER
19 CALL_FUNCTION 1 (1 positional, 0 keyword pair)
22 POP_TOP
23 LOAD_CONST 3 (None)
26 RETURN_VALUE
>>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
1 0 LOAD_FAST 0 (.0)
>> 3 FOR_ITER 11 (to 17)
6 STORE_FAST 1 (i)
9 LOAD_FAST 1 (i)
12 YIELD_VALUE
13 POP_TOP
14 JUMP_ABSOLUTE 3
>> 17 LOAD_CONST 0 (None)
20 RETURN_VALUE
上面显示了生成器表达式被编译为代码对象,作为函数加载(MAKE_FUNCTION 从代码对象创建函数对象)。 .co_consts[0] 引用让我们看到为表达式生成的代码对象,它使用 YIELD_VALUE 就像生成器函数一样。
因此,yield 表达式在该上下文中起作用,因为编译器将这些视为变相的函数。
这是一个错误; yield 在这些表达式中没有位置。 Python 3.7 之前的 Python 语法 允许它(这就是代码可编译的原因),但 yield expression specification 表明在此处使用 yield 实际上不应该工作:
yield 表达式仅在定义 generator 函数时使用,因此只能在函数定义体中使用。
这已被确认为issue 10544 中的一个错误。该bug的解决方法是使用yield和yield from会raise a SyntaxError in Python 3.8;在 Python 3.7 it raises a DeprecationWarning 中确保代码停止使用此构造。如果您使用 -3 command line switch 启用 Python 3 兼容性警告,您将在 Python 2.7.15 及更高版本中看到相同的警告。
3.7.0b1 警告如下所示;将警告变成错误会给你一个SyntaxError 异常,就像你在 3.8 中一样:
>>> [(yield i) for i in range(3)]
<stdin>:1: DeprecationWarning: 'yield' inside list comprehension
<generator object <listcomp> at 0x1092ec7c8>
>>> import warnings
>>> warnings.simplefilter('error')
>>> [(yield i) for i in range(3)]
File "<stdin>", line 1
SyntaxError: 'yield' inside list comprehension
列表解析中的yield 和生成器表达式中的yield 之间的差异源于这两个表达式的实现方式不同。在 Python 3 中,列表推导式使用 LIST_APPEND 调用将堆栈顶部添加到正在构建的列表中,而生成器表达式则生成该值。添加(yield <expr>) 只是添加另一个YIELD_VALUE 操作码:
>>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
1 0 BUILD_LIST 0
3 LOAD_FAST 0 (.0)
>> 6 FOR_ITER 13 (to 22)
9 STORE_FAST 1 (i)
12 LOAD_FAST 1 (i)
15 YIELD_VALUE
16 LIST_APPEND 2
19 JUMP_ABSOLUTE 6
>> 22 RETURN_VALUE
>>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
1 0 LOAD_FAST 0 (.0)
>> 3 FOR_ITER 12 (to 18)
6 STORE_FAST 1 (i)
9 LOAD_FAST 1 (i)
12 YIELD_VALUE
13 YIELD_VALUE
14 POP_TOP
15 JUMP_ABSOLUTE 3
>> 18 LOAD_CONST 0 (None)
21 RETURN_VALUE
分别位于字节码索引 15 和 12 的 YIELD_VALUE 操作码是额外的,是鸟巢中的杜鹃。因此,对于 list-comprehension-turned-generator,您每次都有 1 个 yield 产生堆栈顶部(用 yield 返回值替换堆栈顶部),对于生成器表达式变体,您产生顶部堆栈(整数),然后再次 yield ,但现在堆栈包含 yield 的返回值,而您第二次得到 None。
对于列表推导,仍会返回预期的 list 对象输出,但 Python 3 将其视为生成器,因此返回值作为 value 属性附加到 StopIteration exception:
>>> from itertools import islice
>>> listgen = [(yield i) for i in range(3)]
>>> list(islice(listgen, 3)) # avoid exhausting the generator
[0, 1, 2]
>>> try:
... next(listgen)
... except StopIteration as si:
... print(si.value)
...
[None, None, None]
那些None 对象是yield 表达式的返回值。
再次重申这一点;同样的问题也适用于 Python 2 和 Python 3 中的字典和集合理解;在 Python 2 中,yield 返回值仍然添加到预期的字典或集合对象中,并且返回值最后是“yielded”而不是附加到 StopIteration 异常:
>>> list({(yield k): (yield v) for k, v in {'foo': 'bar', 'spam': 'eggs'}.items()})
['bar', 'foo', 'eggs', 'spam', {None: None}]
>>> list({(yield i) for i in range(3)})
[0, 1, 2, set([None])]