遍历 Python 文件对象线程是否安全？答案

【问题标题】：Is iterating over a Python file object thread safe?遍历 Python 文件对象线程是否安全？
【发布时间】：2013-09-13 08:09:34
【问题描述】：

在寻找this problem 的简洁解决方案时，我想知道迭代 Python 文件对象是否是线程安全的。

from concurrent.futures import ThreadPoolExecutor
import sys, time

f = open("big_file")

def worker():
    running = True
    while running:
        try:
            line = next(f)
        except StopIteration:
            return
        # process line
        time.sleep(3)
        sys.stdout.write(line + "\n")

no_workers = 4
with ThreadPoolExecutor(max_workers=no_workers) as e:
    for _ in range(no_workers):
        e.submit(worker)

f.close()

我的问题是，如果上面的示例是安全的，或者如果不是，那么获取线程安全文件对象的简单方法是什么（对于逐行读取文件，不需要写入）。

【问题讨论】：

相当安全的方法是一次读取它，然后遍历每一行。这符合您的需求吗？
@Tadeck 遗憾的是没有，因为文件太大而无法放入内存

标签： python multithreading

【解决方案1】：

不，文件 I/O 不是线程安全的。锁定是一种解决方案，但我认为让单个线程处理每个外部资源的选项效果更好。其他线程向Queue.Queue 实例上的专用线程发送工作请求（并提供自己的另一个队列以防他们需要返回结果），专用线程大部分时间都在等待.get队列，每当它收到请求时，它都会处理它，可能会返回结果。

【讨论】：