是否有区别：“file.readlines()”、“list(file)”和“file.read().splitlines(True)”？

Question

有什么区别：

with open("file.txt", "r") as f:
    data = list(f)

或者：

with open("file.txt", "r") as f:
    data = f.read().splitlines(True)

或者：

with open("file.txt", "r") as f:
    data = f.readlines()

它们似乎产生完全相同的输出。 一个比另一个更好（或更 Pythonic）吗？

Answer 1

显式优于隐式，所以我更喜欢：

with open("file.txt", "r") as f:
    data = f.readlines()

但是，如果可能的话，最pythonic的就是直接使用文件迭代器，而不是将所有内容加载到内存中，例如：

with open("file.txt", "r") as f:
    for line in f:
       my_function(line)

Answer 2

TL;DR;

考虑到您之后需要一个列表来操作它们，您提出的三个解决方案在语法上都是有效的。没有更好（或更 Pythonic） 的解决方案，尤其是它们都被官方 Python documentation 推荐。因此，请选择您认为最易读并在整个代码中保持一致的那个。如果性能是决定性因素，请参阅下面我的timeit 分析。

---

这是timeit（10000 个循环，test.txt 中的 ~20 行），

import timeit

def foo():
    with open("test.txt", "r") as f:
        data = list(f)

def foo1():
    with open("test.txt", "r") as f:
        data = f.read().splitlines(True)

def foo2():
    with open("test.txt", "r") as f:
        data = f.readlines()

print(timeit.timeit(stmt=foo, number=10000))
print(timeit.timeit(stmt=foo1, number=10000))
print(timeit.timeit(stmt=foo2, number=10000))

>>>> 1.6370758459997887
>>>> 1.410844805999659
>>>> 1.8176437409965729

我尝试了多个循环和行，f.read().splitlines(True) 的性能似乎总是比其他两个好一点。

现在，从句法上讲，您的所有示例似乎都是有效的。有关更多信息，请参阅此documentation。

据此，如果您的目标是从文件中读取行，

for line in f:
    ...

他们声称它内存效率高、速度快并且代码简单。 如果您不需要在列表中操作它们，这将是另一个不错的选择。

编辑

请注意，您无需将 True 布尔值传递给 splitlines。默认情况下，它具有您想要的行为。

我的个人建议

我不想让这个答案过于基于意见，但我认为这对你来说是有益的，我认为性能不应该是你的决定因素，直到它实际上对你来说是一个问题。特别是因为在我链接的官方 Python 文档中允许并推荐所有语法。

所以，我的建议是：

首先，根据您的具体情况选择最合乎逻辑的，然后选择您认为最易读并保持一致的那个贯穿你的代码。

Answer 3

您的所有三个选项都会产生相同的最终结果，但其中一个肯定比其他两个更糟糕：执行f.read().splitlines(True)。

这是最糟糕的选择的原因是它需要最多的内存。 f.read() 将文件内容作为单个（可能是巨大的）字符串对象读入内存，然后在其上调用 .splitlines(True) 会另外创建各个行的列表，然后只有在此之后才会获得包含文件全部内容的字符串对象垃圾收集并释放其内存。所以，在内存使用高峰的时刻——就在大字符串的内存被释放之前——这种方法需要足够的内存来将文件的全部内容存储在内存中两次——一次作为字符串，一次作为字符串数组。

相比之下，list(f) 或 f.readlines() 将从磁盘读取一行，将其添加到结果列表中，然后读取下一行，依此类推。因此，整个文件内容永远不会在内存中重复，因此峰值内存使用量约为.splitlines(True) 方法的一半。因此，这些方法优于使用.read() 和.splitlines(True)。

至于list(f) 和f.readlines()，它们中的任何一个都没有明显的优势；它们之间的选择是风格和品味的问题。

Answer 4

在这 3 种情况下，您使用 context manager 来读取文件。这个文件是file object。

文件对象

公开面向文件的 API 的对象（使用 read() 或 写（））。根据创建的方式，文件对象可以调解对真实磁盘文件或其他类型的存储或通信设备（例如标准输入/输出、内存缓冲区、套接字、管道等）的访问。 .文件对象也称为类文件对象或流。 创建文件对象的规范方法是使用 open() 函数。 https://docs.python.org/3/glossary.html#term-file-object

列表

with open("file.txt", "r") as f:
    data = list(f)

这是有效的，因为您的文件对象是一个类似对象的流。转换为列表的工作大致如下：

[element for element in generator until I hit stopIteration]

readlines 方法

with open("file.txt", "r") as f:
    data = f.readlines()

方法 readlines() 使用 readline() 读取直到 EOF 并返回一个 包含行的列表。

与列表的区别：

1. 您可以指定要读取的元素数量：fileObject.readlines( sizehint )

2. 如果存在可选的 sizehint 参数，而不是读取到 EOF，而是读取总计大约 sizehint 字节的整行（可能在向上舍入到内部缓冲区大小之后）。

阅读

When should I ever use file.read() or file.readlines()?

Answer 5

它们都实现了返回字符串列表但使用不同方法的相同目标。 f.readlines() 是最 Pythonic 的。

with open("file.txt", "r") as f:
    data = list(f)

f 这里是一个类似文件的对象，它通过list 进行迭代，返回文件中的行。

---

with open("file.txt", "r") as f:
    data = f.read().splitlines(True)

f.read() 返回一个字符串，您将其拆分为换行符，返回一个字符串列表。

---

with open("file.txt", "r") as f:
    data = f.readlines()

f.readlines() 和上面一样，它读取整个文件并在换行符处分割。