multiprocessinq.Queue 作为 Queue.Queue 子项的属性

Question

我试图弄清楚下面的模块在做什么。

import Queue
import multiprocessing
import threading

class BufferedReadQueue(Queue.Queue):
    def __init__(self, lim=None):
        self.raw = multiprocessing.Queue(lim)
        self.__listener = threading.Thread(target=self.listen)
        self.__listener.setDaemon(True)
        self.__listener.start()
        Queue.Queue.__init__(self, lim)

    def listen(self):
        try:
            while True:
                self.put(self.raw.get())
        except:
            pass

    @property
    def buffered(self):
        return self.qsize()

它只在调用代码中实例化一次，.raw 属性 multiprocessing.Queue 被发送到另一个类，该类似乎继承自 multiprocessing.Process。

正如我所见，BufferedReadQueue 的一个属性被用作队列，而不是类（也不是它的实例）本身。

BufferedReadQueue 继承自 Queue.Queue 而不仅仅是 object 的原因是什么，如果它实际上没有被用作队列？

Answer 1

看起来BufferedReadQueue 旨在用作将multiprocessing.Queue 的读取端转换为普通Queue.Queue 的一种方式。请注意__init__：

    self.__listener = threading.Thread(target=self.listen)
    self.__listener.setDaemon(True)
    self.__listener.start()

这会启动一个侦听器线程，它会不断尝试从内部multiprocessing.Queue 获取get 项目，然后将puts 所有这些项目传递给self。看起来用例是这样的：

def func(queue):
   queue.put('stuff')
   ...

buf_queue = BufferedReadQueue()
proc = multiprocessing.Process(target=func, args=(buf_queue.raw,))
proc.start()
out = buf_queue.get()  # Only get calls in the parent

现在，您为什么要这样做而不是直接使用multiprocessing.Queue？可能是因为multiprocessing.Queue 有一些Queue.Queue 没有的缺点。例如qsize()，这个BufferedReadQueue使用，is not reliable with multiprocessing.Queue：

返回队列的大致大小。由于多线程/多处理语义，这个数字并不可靠。

请注意，这可能会在未实现 sem_getvalue() 的 Unix 平台（如 Mac OS X）上引发 NotImplementedError。

还可以对Queue.Queue 进行内省，并在不弹出它们的情况下查看其内容。 multiprocessing.Queue 无法做到这一点。