Python中的循环：在第一次迭代之前做一些事情

Question

我要优化。

简单的解决方案

connection = get_db_connection()
for item in my_iterator:
    push_item_to_db(item, connection)

缺点：

get_db_connection() 很慢。如果my_iterator 为空，那么我想避免调用它。

“如果没有”解决方案

connection = None
for item in my_iterator:
    if connection is None:
        connection = get_db_connection()
    push_item_to_db(item, connection)

缺点：

如果my_iterator 中有 100k 个项目，则 if connection is None 被调用 100k 次（尽管只需要一次）。我想避免这种情况。

完美解决方案...

1. 如果迭代器为空，则不要调用get_db_connection()
2. 不要在每次迭代时都调用if connection is None:。

有什么想法吗？

Answer 1

你可以这样做：

connection = None
for item in my_iterator:
    if connection is None:
        connection = get_db_connection()
    push_item_to_db(item, connection)

简单的解决方案。不需要多想。即使有 10 万次操作，x is None 也只是采用一个 Python 操作码的参考比较。与每次插入时发生的完整 tcp 往返 + 磁盘写入相比，您真的不需要优化这一点。

Answer 2

for item in my_iterator:
    # First item (if any)
    connection = get_db_connection()
    push_item_to_db(item, connection)
    for item in my_iterator:
        # Next items
        push_item_to_db(item, connection)

Answer 3

我不是 Python 方面的专家，但我会做这样的事情：

def put_items_to_database (iterator):
    try:
        item = next(iterator)

        # We connect to the database only after we 
        # know there at least one element in the collection            
        connection = get_db_connection()

        while True:
            push_item_to_db(item, connection)
            item = next(iterator)
    except StopIteration:
        pass

这里的性能可能与数据库有关。然而问题在于找到一种方法来避免做不必要的工作，而以上是精确控制迭代过程中发生的事情的基本方法。

在某些方面，其他解决方案“更简单”，但另一方面，我认为这个解决方案更明确，并遵循最小惊讶原则。

Answer 4

解决方案 1

这可以在没有while True 循环的情况下工作。

try:
    next(my_iterator)
    connection = get_db_connection()
    push_item_to_db(item, connection)
except StopIteration:
    pass
for item in my_iterator:
    push_item_to_db(item, connection)

解决方案 2

如果您知道该迭代器从不返回 None（或任何其他唯一对象），则可以利用默认值 next()：

if next(my_iterator, None) is not None:
    connection = get_db_connection()
    push_item_to_db(item, connection)
for item in my_iterator:
    push_item_to_db(item, connection)

解决方案 3

如果你不能保证迭代器永远不会返回一个值，你可以使用哨兵。

sentinel = object()
if next(my_iterator, sentinel) is not sentinel:
    connection = get_db_connection()
    push_item_to_db(item, connection)
for item in my_iterator:
    push_item_to_db(item, connection)

解决方案 4

使用itertools.chain()：

from itertools import chain

for first_item in my_iterator:
    connection = get_db_connection()
    for item in chain([first_item], my_iterator):
        push_item_to_db(item, connection)