在多处理进程之间将opencv视频帧共享为Numpy数组的正确方法

Question

我想与我的多处理子进程共享我在 OpenVC 中捕获的帧，但 video_capture.read() 创建了一个新对象并且不写入我将通过用 multiprocessing.Array() 包装来共享的我的 numpy 数组

代码如下：

ret, frame = video_capture.read()
shared_array = mp.Array(ctypes.c_uint16, frame.shape[0] * frame.shape[1], lock=False)
while True:
    b = np.frombuffer(shared_array)
    ret, b = video_capture.read()

但是缓冲区b 被read() 函数覆盖。所以我不写入我的缓冲区/共享数组。

在子流程中我执行以下操作：

img = np.frombuffer(shared_array)
cv2.imshow('Video', img)

仅包含视频第一帧的共享数组。如何正确写入共享数组以读取子进程中的每一帧？ 我不想使用队列或管道。共享内存是一种方式，因为更多的进程会消耗帧。

Answer 1

有几个问题，一个是共享数组的大小和形状，另一个是您如何访问它。要解决第一个问题，首先需要确保创建的数组的大小与视频帧的大小相对应。您已经阅读了一个框架并使用了它的宽度和高度（尽管you can do it without reading any frame），但没有考虑它的通道数。

ret, frame = video_capture.read()
shape = frame.shape
shared_array = mp.Array(ctypes.c_uint16, shape[0] * shape[1] * shape[2], lock=False)

您选择uint16 作为数据类型，这很好（同样，您可以使用video_capture.get(cv2.CAP_PROP_FORMAT) 来获取帧的确切数据类型，但您可以选择任何您想要的，因为 NumPy 会将值转换为数组数据类型）。但是，当您创建 NumPy 数组时，您必须指定要使用的数据类型，否则它将默认使用 float64：

b = np.frombuffer(shared_array, dtype=np.uint16)

然后你必须把它重塑成一个框架的形状（并不是说这不会创建一个新的 NumPy 数组，它只是一个视图，所以它仍然使用共享缓冲区）：

b = b.reshape(shape)

最后，当您读取帧时，您不想覆盖b 变量，而是写入数组。此外，您应该只在实际读取帧时才这样做：

while True:
    ret, frame = video_capture.read()
    if ret:
        b[:] = frame