迭代多个文件的所有行的最pythonic方法是什么？

Question

我想将许多文件视为一个文件。将 [filenames] => [file objects] => [lines] 与生成器/不将整个文件读入内存的正确 pythonic 方式是什么？

我们都知道打开文件的正确方法：

with open("auth.log", "rb") as f:
    print sum(f.readlines())

而且我们知道将多个迭代器/生成器链接成一个长的一个的正确方法：

>>> list(itertools.chain(range(3), range(3)))
[0, 1, 2, 0, 1, 2]

但是如何将多个文件链接在一起并保留上下文管理器？

with open("auth.log", "rb") as f0:
    with open("auth.log.1", "rb") as f1:
        for line in itertools.chain(f0, f1):
            do_stuff_with(line)

    # f1 is now closed
# f0 is now closed
# gross

我可以忽略上下文管理器并做这样的事情，但感觉不对：

files = itertools.chain(*(open(f, "rb") for f in file_names))
for line in files:
    do_stuff_with(line)

或者这就是Async IO - PEP 3156 的用途，我只需要稍后等待优雅的语法吗？

Answer 1

总是有fileinput。

for line in fileinput.input(filenames):
    ...

然而，阅读source，fileinput.FileInput 似乎不能用作上下文管理器¹。要解决这个问题，您可以使用contextlib.closing，因为FileInput 实例有一个合理实现的close 方法：

from contextlib import closing
with closing(fileinput.input(filenames)) as line_iter:
    for line in line_iter:
        ...

---

上下文管理器的替代方法是编写一个简单的函数循环遍历文件并在执行过程中产生行：

def fileinput(files):
    for f in files:
        with open(f,'r') as fin:
            for line in fin:
                yield line

这里不需要itertools.chain 恕我直言......这里的魔力在于yield 语句，它用于将普通函数转换为极其惰性的生成器。

---

¹顺便说一句，从 python3.2 开始，fileinput.FileInput 是作为上下文管理器实现的，这与我们之前使用 contextlib 所做的完全一样。现在我们的例子变成了：

# Python 3.2+ version
with fileinput.input(filenames) as line_iter:
    for line in line_iter:
        ...

虽然其他示例也适用于 python3.2+。