使用 itertools.tee 检查下一个元素时如何最小化空间成本？

Question

我正在尝试使用 itertools.tee 来知道迭代器是否为空而不完全消耗它：

from itertools import tee
def get_iterator(i):
    i1, i2 = tee(i, 2)
    if next(i1, None) is None:
       # iterator is empty - raises some error
       pass
    return i2 # return not empty iterator to caller

正如 tee 的 docs 所说：

此迭代工具可能需要大量辅助存储（取决于需要存储多少临时数据）。一般来说，如果一个迭代器在另一个迭代器启动之前使用了大部分或全部数据，那么使用 list() 而不是 tee() 会更快。

所以很明显，当 i 不为空时，i2 在 i1 之前使用了大部分数据。 一个简单的 del 可以解决这个问题吗？：

from itertools import tee
def get_iterator(i):
    i1, i2 = tee(i, 2)
    if next(i1, None) is None:
       # iterator is empty - raises some error
       pass
    del i1  # Does this overcome storage issue?
    return i2  # return not empty iterator to caller

有没有更好的方法来实现这个目标？

提前致谢！

Answer 1

这有点微妙 - 它取决于 tee 函数的未记录属性以及 garbage collector 的故意模糊属性。示例 Python 代码将存储从创建迭代器直到它们被每个迭代器使用的所有项目，但人们可能很容易想象迭代器将具有清理效果，从而放弃对队列中数据的声明。但即便如此，del 还是删除了你的名字；它不保证对象的销毁。因此，这样的清理工作会起作用，但不一定在您期望的时间。要知道这是否发生需要阅读the source code for tee。它确实有对单个迭代器的weak reference 支持，这表明可以完成这种优化的一种方式。

tee_next 的 CPython 代码相当简单；它包含对teedataobject 的引用，这是一个最多包含 57 个项目的批次，也形成了一个单链表。因此，正常的引用计数语义适用于该批次级别。所以基本上，对于 CPython，多达 56 个项目即使在 被 所有 迭代器消耗后仍保留在内存中，但仅此而已，因为引用计数处理是即时的。只要tee 迭代器存在，它们之间的任意数量的项都可以被保存，但它们不会从源迭代器中提前读取；至少一个 tee 迭代器必须通过teedataobject_getitem 获取项目。

所以基本判断是：是的，del 将在 CPython 中工作，但使用 tee 意味着您暂时存储 57 个项目的批次，而不是 1。重复此方法可能会导致任意数量的此类窗口 -除了tee 迭代器是可复制的，并且将共享它们的底层列表。

这是对 CPython 的一个版本 (4243df51fe43) 的具体解释。实现会有所不同，例如PyPy、IronPython、Jython 或其他版本的 CPython。

例如，PyPy's tee（版本 cadf868）使用类似的链表，每个链接一个项目，因此不会像这个 CPython 版本那样进行批处理。

有一个显着的捷径可以防止这种成本增加：我研究过的tee 实现都产生了可复制的迭代器，也复制了可复制的迭代器。所以重复应用tee 不会创建新的迭代器层，这是chain 方法的一个潜在问题。

Answer 2

我的意思是，在你的具体情况下，这有什么问题

from itertools import chain
def get_iterator(i):
    try:
        first = next(i):
    except StopIteration:
       # iterator is empty - raises some error
       pass
    return chain([first], i)

它做同样的事情，但除了第一个值之外不存储任何东西。