如何从 OpenCV 中的 YUV 文件中读取帧？

Question

如何在 OpenCV 中从 YUV 文件中读取一帧？

Answer 1

供将来参考：我已将 @xianyanlin's brilliant answer 转换为 Python 3。以下代码适用于从 Raspberry Pi 相机拍摄的视频，并且似乎输出正确的颜色和纵横比。

警告：它使用 numpy 格式来指定高度 * 宽度的分辨率，例如1080 * 1920, 480 * 640。

class VideoCaptureYUV:
    def __init__(self, filename, size):
        self.height, self.width = size
        self.frame_len = self.width * self.height * 3 // 2
        self.f = open(filename, 'rb')
        self.shape = (int(self.height*1.5), self.width)

    def read_raw(self):
        try:
            raw = self.f.read(self.frame_len)
            yuv = np.frombuffer(raw, dtype=np.uint8)
            yuv = yuv.reshape(self.shape)
        except Exception as e:
            print(str(e))
            return False, None
        return True, yuv

    def read(self):
        ret, yuv = self.read_raw()
        if not ret:
            return ret, yuv
        bgr = cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR_I420, 3)
        return ret, bgr

Answer 2

我写了一个非常简单的python代码来从二进制文件中读取YUV NV21流。

import cv2
import numpy as np

class VideoCaptureYUV:
    def __init__(self, filename, size):
        self.height, self.width = size
        self.frame_len = self.width * self.height * 3 / 2
        self.f = open(filename, 'rb')
        self.shape = (int(self.height*1.5), self.width)

    def read_raw(self):
        try:
            raw = self.f.read(self.frame_len)
            yuv = np.frombuffer(raw, dtype=np.uint8)
            yuv = yuv.reshape(self.shape)
        except Exception as e:
            print str(e)
            return False, None
        return True, yuv

    def read(self):
        ret, yuv = self.read_raw()
        if not ret:
            return ret, yuv
        bgr = cv2.cvtColor(yuv, cv2.COLOR_YUV2BGR_NV21)
        return ret, bgr


if __name__ == "__main__":
    #filename = "data/20171214180916RGB.yuv"
    filename = "data/20171214180916IR.yuv"
    size = (480, 640)
    cap = VideoCaptureYUV(filename, size)

    while 1:
        ret, frame = cap.read()
        if ret:
            cv2.imshow("frame", frame)
            cv2.waitKey(30)
        else:
            break

Answer 3

如前所述，YUV 格式有很多种：

http://www.fourcc.org/yuv.php

在 OpenCV 中从 YUV 格式转换为 RGB 非常简单：

1. 为该帧数据创建一个大小合适的一维 OpenCV Mat
2. 为具有所需尺寸和 3 个通道的 RGB 数据创建一个空 Mat
3. 最后使用 cvtColor 在两个 Mats 之间进行转换，使用正确的转换标志枚举

以下是 YV12 格式的 YUV 缓冲区示例：

Mat mYUV(height + height/2, width, CV_8UC1, (void*) frameData);
Mat mRGB(height, width, CV_8UC3);
cvtColor(mYUV, mRGB, CV_YUV2RGB_YV12, 3);

关键技巧是在转换之前定义 RGB Mat 的尺寸。

Answer 4

更新这里有更新版本的代码：https://github.com/chelyaev/opencv-yuv

我发布了一些代码，可以读取 单个 YUV 4:2:0 平面图像文件。您可以直接将其应用于大多数 YUV 文件（只需继续从同一个 FILE 对象读取）。 例外是在处理YUV files that have a header 时（通常，它们具有*.y4m 扩展名）。如果你想处理这样的文件，你有两种选择：

1. 在使用下面的代码之前，编写您自己的函数来使用来自FILE 对象的标头数据
2. 从 *.y4m 图像中去除标题（使用 ffmpeg 或类似工具）。这是我更喜欢的选项，因为它最简单。

它也不适用于任何其他形式的 YUV 格式（非平面、不同的色度抽取）。正如@Stephane 指出的那样，有很多这样的格式（并且大多数都没有任何识别标头），这可能是 OpenCV 不支持开箱即用的原因。

但使用它们相当简单：

• 从图像及其尺寸开始（读取 YUV 文件时需要这样做）
• 将亮度和色度读取到 3 张单独的图像中
• 将色度图像放大 2 倍以补偿色度抽取。 请注意，实际上有几种方法可以补偿色度抽取。上采样只是最简单的
• 合并成 YUV 图像。如果你想要 RGB，你可以使用cvCvtColor。

最后是代码：

IplImage * 
cvLoadImageYUV(FILE *fin, int w, int h)
{
    assert(fin);

    IplImage *py      = cvCreateImage(cvSize(w,    h), IPL_DEPTH_8U, 1);
    IplImage *pu      = cvCreateImage(cvSize(w/2,h/2), IPL_DEPTH_8U, 1);
    IplImage *pv      = cvCreateImage(cvSize(w/2,h/2), IPL_DEPTH_8U, 1);
    IplImage *pu_big  = cvCreateImage(cvSize(w,    h), IPL_DEPTH_8U, 1);
    IplImage *pv_big  = cvCreateImage(cvSize(w,    h), IPL_DEPTH_8U, 1);
    IplImage *image   = cvCreateImage(cvSize(w,    h), IPL_DEPTH_8U, 3);
    IplImage *result  = NULL;

    assert(py);
    assert(pu);
    assert(pv);
    assert(pu_big);
    assert(pv_big);
    assert(image);

    for (int i = 0; i < w*h; ++i)
    {
        int j = fgetc(fin);
        if (j < 0)
            goto cleanup;
        py->imageData[i] = (unsigned char) j;
    }

    for (int i = 0; i < w*h/4; ++i)
    {
        int j = fgetc(fin);
        if (j < 0)
            goto cleanup;
        pu->imageData[i] = (unsigned char) j;
    }

    for (int i = 0; i < w*h/4; ++i)
    {
        int j = fgetc(fin);
        if (j < 0)
            goto cleanup;
        pv->imageData[i] = (unsigned char) j;
    }

    cvResize(pu, pu_big, CV_INTER_NN);
    cvResize(pv, pv_big, CV_INTER_NN);
    cvMerge(py, pu_big, pv_big, NULL, image);

    result = image;

cleanup:
    cvReleaseImage(&pu);
    cvReleaseImage(&pv);

    cvReleaseImage(&py);
    cvReleaseImage(&pu_big);
    cvReleaseImage(&pv_big);

    if (result == NULL)
        cvReleaseImage(&image);

    return result;
}

Answer 5

我遇到了同样的问题。我的解决方案是 1.将一个yuv帧（如I420）读入一个字符串对象“yuv”。 2.将yuv帧转换为BGR24格式。我使用 libyuv 来做到这一点。为 libyuv 函数编写 python 包装器很容易。现在你得到另一个 BGR24 格式的字符串对象“bgr”。 3. 使用 numpy.fromstring 从“bgr”字符串对象中获取图像对象。您需要更改图像对象的形状。

下面是一个简单的 yuv 查看器供您参考。

import cv2
# below is the extension wrapper for libyuv
import yuvtorgb
import numpy as np

f = open('i420_cif.yuv', 'rb')

w = 352
h = 288
size = 352*288*3/2

while True:
    try:
        yuv = f.read(size)
    except:
        break
    if len(yuv) != size:
        f.seek(0, 0)
        continue

    bgr = yuvtorgb.i420_to_bgr24(yuv, w, h)

    img = np.fromstring(bgr, dtype=np.uint8)
    img.shape = h,w,3

    cv2.imshow('img', img)

    if cv2.waitKey(50) & 0xFF == ord('q'):
        break

cv2.destroyAllWindows()

Answer 6

我认为至少在当前版本中是不可能的。当然，做起来并不难，但也不是什么有趣的功能，比如：

• OpenCV 通常适用于 RGB 格式的网络摄像头流，或直接解码为 RGB 用于显示目的的编码文件；
• OpenCV 专用于计算机视觉，其中 YUV 是一种比 Coding 社区更不常见的格式；
• 有许多不同的 YUV 格式，这意味着实现它们需要大量工作。

尽管使用cvCvtColor()，仍然可以进行转换，这意味着无论如何它还是有一些意义的。