逐批从文件中读取多行

Question

我想知道有没有一种方法可以从一个文件中批量读取多行。例如：

with open(filename, 'rb') as f:
    for n_lines in f:
        process(n_lines)

在这个函数中，我想做的是：对于每次迭代，将从文件中逐批读取下 n 行。

因为一个文件太大了。我要做的就是一个一个地读。

Answer 1

您实际上可以只遍历文件中的行（请参阅 file.next 文档 - 这也适用于 Python 3），例如

with open(filename) as f:
    for line in f:
        something(line)

所以你的代码可以重写为

n=5 # your batch size
with open(filename) as f:
    batch=[]
    for line in f:
        batch.append(line)
        if len(batch)==n:
            process(batch)
            batch=[]
process(batch) # this batch might be smaller or even empty

但通常只逐行处理更方便（第一个示例）

如果您不关心每个批次准确读取了多少行，但只是内存不多，那么请使用 file.readlines 和 sizehint 之类的

size_hint=2<<24 # 16MB
with open(filename) as f:
    while f: # not sure if this check works
        process(f.readlines(size_hint))

Answer 2

itertools.islice 和两个 arg iter 可以用来完成这个，但是有点搞笑：

from itertools import islice

n = 5  # Or whatever chunk size you want
with open(filename, 'rb') as f:
    for n_lines in iter(lambda: tuple(islice(f, n)), ()):
        process(n_lines)

这将保持islice一次关闭n行（使用tuple实际强制读取整个块）直到f用尽，此时它将停止。如果文件中的行数不是n 的偶数倍，则最终块将少于n 行数。如果您希望所有行都成为单个字符串，请将 for 循环更改为：

    # The b prefixes are ignored on 2.7, and necessary on 3.x since you opened
    # the file in binary mode
    for n_lines in iter(lambda: b''.join(islice(f, n)), b''):

另一种方法是使用izip_longest 来达到目的，从而避免使用lambda 函数：

from future_builtins import map  # Only on Py2
from itertools import izip_longest  # zip_longest on Py3

    # gets tuples possibly padded with empty strings at end of file
    for n_lines in izip_longest(*[f]*n, fillvalue=b''):

    # Or to combine into a single string:
    for n_lines in map(b''.join, izip_longest(*[f]*n, fillvalue=b'')):