python中多线程导致I/O减速

Question

我有一个python 脚本，它适用于以下方案：读取一个大文件（例如，电影） - 将从中选择的信息组合成一些小的临时文件 - 在子进程中生成一个 C++ 应用程序执行文件处理/计算（分别为每个文件） - 读取应用程序输出。为了加快脚本我使用了多处理。但是，它有一个主要缺点：每个进程都必须在 RAM 中维护大型输入文件的整个副本，因此我只能运行几个进程，因为内存不足。因此，由于线程共享地址空间这一事实，我决定尝试使用多线程（或多处理和多线程的某种组合）。由于python 部分大部分时间使用文件I/O 或等待C++ 应用程序完成，我认为GIL 在这里一定不是问题。然而，我观察到性能急剧下降，而不是性能有所提高，这主要是由于I/O 部分。

我用以下代码说明问题（另存为test.py）：

import sys, threading, tempfile, time

nthreads = int(sys.argv[1])

class IOThread (threading.Thread):
    def __init__(self, thread_id, obj):
        threading.Thread.__init__(self)
        self.thread_id = thread_id
        self.obj = obj
    def run(self):
        run_io(self.thread_id, self.obj)

def gen_object(nlines):
    obj = []
    for i in range(nlines):
        obj.append(str(i) + '\n')
    return obj

def run_io(thread_id, obj):
    ntasks = 100 // nthreads + (1 if thread_id < 100 % nthreads else 0)
    for i in range(ntasks):
        tmpfile = tempfile.NamedTemporaryFile('w+')
        with open(tmpfile.name, 'w') as ofile:
            for elem in obj:
                ofile.write(elem)
        with open(tmpfile.name, 'r') as ifile:
            content = ifile.readlines()
        tmpfile.close()

obj = gen_object(100000)
starttime = time.time()
threads = []
for thread_id in range(nthreads):
    threads.append(IOThread(thread_id, obj))
    threads[thread_id].start()
for thread in threads:
    thread.join()
runtime = time.time() - starttime
print('Runtime: {:.2f} s'.format(runtime))

当我使用不同数量的线程运行它时，我得到了这个：

$ python3 test.py 1
Runtime: 2.84 s
$ python3 test.py 1
Runtime: 2.77 s
$ python3 test.py 1
Runtime: 3.34 s
$ python3 test.py 2
Runtime: 6.54 s
$ python3 test.py 2
Runtime: 6.76 s
$ python3 test.py 2
Runtime: 6.33 s

谁能解释一下结果，并给出一些建议，如何使用多线程有效地并行化I/O？

编辑：

减速不是因为硬盘性能，因为：

1) 无论如何，这些文件都会被缓存到 RAM 中

2) 使用多处理（不是多线程）的相同操作确实变得更快（几乎是 CPU 数量的因素）

Answer 1

随着我对问题的深入研究，我对 4 种不同的并行化方法进行了比较基准测试，其中 3 种使用python，1 种使用java（测试的目的不是比较 I/O 机制不同语言之间，但看看多线程是否可以提高 I/O 操作）。测试是在 Ubuntu 14.04.3 上进行的，所有文件都放在了 RAM 磁盘中。

虽然数据很嘈杂，但趋势很明显（见图表；n=5，每根柱，误差线代表 SD）：python 多线程无法提高 I/O 性能。最可能的原因是 GIL，因此无法绕过它。

Answer 2

我认为您的性能指标不会说谎：您要求硬盘同时执行许多操作。关闭文件时读取，写入，fsync，...以及同时在多个文件上。它触发了很多硬件物理操作。同时编写的文件越多，获得的争用就越多。

所以 CPU 正在等待磁盘操作完成...

此外，也许您没有 SSD 硬盘，所以同步实际上意味着一些物理移动。

编辑：这可能是 GIL 问题。当您在 run_io 中迭代 obj 中的 elem 时，您会在每次写入之间执行 python 代码。 ofile.write 可能会释放 GIL，因此 IO 不会阻塞其他线程，但每次迭代都会释放/获取锁。所以也许你的写作并没有真正“同时”运行。

EDIT2：为了检验您可以尝试替换的假设：

for elem in obj:
    ofile.write(elem)

与：

ofile.write("".join(obj))

看看性能是否变好