Python的线程阻塞IO操作答案

【问题标题】：Python's threads block on IO operationPython的线程阻塞IO操作
【发布时间】：2013-04-18 13:32:27
【问题描述】：

我有以下问题。每当子线程想要执行一些 IO 操作（写入文件、下载文件）时，程序就会挂起。在以下示例中，程序挂起在opener.retrieve。如果我执行 python main.py 程序在检索功能上被阻止。如果我执行python ./src/tmp.py 一切都很好。我不明白为什么。谁能解释一下发生了什么？

我在Linux系统上使用python2.7（内核3.5.0-27）。

文件排序：

main.py
./src
    __init__.py
    tmp.py

main.py

import src.tmp

tmp.py

import threading
import urllib

class DownloaderThread(threading.Thread):
    def __init__(self, pool_sema, i):
        threading.Thread.__init__(self)
        self.pool_sema  = pool_sema
        self.daemon     = True
        self.i = i

    def run(self):
        try:
            opener = urllib.FancyURLopener({}) 
            opener.retrieve("http://www.greenteapress.com/thinkpython/thinkCSpy.pdf", "/tmp/" + str(self.i) + ".pdf")
        finally:
            self.pool_sema.release()

class Downloader(object):
    def __init__(self):
        maxthreads             = 1
        self.pool_sema         = threading.BoundedSemaphore(value=maxthreads)

    def download_folder(self):
        for i in xrange(20):
            self.pool_sema.acquire()
            print "Downloading", i
            t = DownloaderThread(self.pool_sema,i)
            t.start()

d = Downloader()
d.download_folder()

【问题讨论】：

标签： python multithreading python-2.7 io

【解决方案1】：

我设法通过破解 urllib.py 让它工作 - 如果你检查它，你会看到许多 import 语句分散在代码中 - 即它使用“即时”导入的东西，而不仅仅是在模块加载时.

所以，真正的原因仍然未知 - 但不值得调查 - 可能是 Python 的导入系统中的一些死锁。你不应该在import 期间运行重要的代码——那只是自找麻烦。

如果你坚持，如果你将所有这些奇怪的导入语句移到 urllib.py 的开头，你可以让它工作。

【讨论】：