打开 CV imshow() - ARGB32 到 OpenCV 图像

Question

我正在尝试使用 OpenCV Python 处理来自 Unity3D WebCamTexture 图形格式（ARGB32）的图像。但我无法解释 Open CV 端的图像。图片全是蓝色（可能是ARGB）

try:
    while(True):
        data = sock.recv(480 * 640 * 4)
        if(len(data) == 480 * 640 * 4):
            image = numpy.fromstring(data, numpy.uint8).reshape( 480, 640, 4 )
            #imageNoAlpha = image[:,:,0:2]
            cv2.imshow('Image', image) #further do image processing
            
            key = cv2.waitKey(1) & 0xFF
            if key == ord("q"):
                break
finally:
    sock.close()

Answer 1

原因是频道的顺序。我认为发件人将图像读取为 RGB 图像，而您将其显示为 BGR 图像，反之亦然。 改变R和B通道的顺序即可解决问题：

image = image[..., [0,3,2,1]] # swap 3 and 1 represent for B and R

如果您使用PIL.Image 和OpenCV，您会经常遇到此问题。 PIL.Image 将图像读取为 RGB，cv2 将读取为 BGR，这就是图像中所有红点变为蓝色的原因。

Answer 2

OpenCV 在处理彩色图像 [1][2] 时使用 BGR（包含 alpha 时为 BGRA）排序，这适用于使用 imread()、imwrite() 读取/写入的图像；使用VideoCapture 获取的图像；绘图函数ellipse()，rectangle()；等等。这个约定在库中是自洽的，如果你用imread() 读取图像并用imshow() 显示它，就会出现正确的颜色。

OpenCV 是我所知道的唯一使用这种排序的库，例如PIL 和 Matplotlib 都使用 RGB。如果您想从一种颜色空间转换为另一种颜色空间，请使用cvtColor()，例如：

# Convert RGB to BGR.
new_image = cvtColor(image, cv2.COLOR_RGB2BGR)

查看ColorConversionCodes 枚举以了解所有支持的转换对。不幸的是，没有 ARGB 到 BGR，但您始终可以手动操作 NumPy 数组：

# Reverse channels ARGB to BGRA.
image_bgra = image[..., ::-1]

# Convert ARGB to BGR.
image_bgr = image[..., [3, 2, 1]]

还有一个 mixChannels() 函数和一堆其他数组操作实用程序，但其中大部分在 OpenCV Python 中是多余的，因为图像由 NumPy 数组支持，因此使用 NumPy 对应物更容易。

OpenCV 使用 BGR 似乎是出于历史原因：Why OpenCV Using BGR Colour Space Instead of RGB。

---

参考资料：

[1] OpenCV: Mat - The Basic Image Container（在存储方法下搜索“BGR”。）

[2]OpenCV: How to scan images, lookup tables and time measurement with OpenCV

^{来自 [2] 的图像显示内存中的 BGR 布局。}

Answer 3

IMAGE_WIDTH = 640
IMAGE_HEIGHT = 480
IMAGE_SIZE = IMAGE_HEIGHT * IMAGE_WIDTH * 4

try:
    while(True):
        data = sock.recv(IMAGE_SIZE)
        dataLen = len(data)
        if(dataLen == IMAGE_SIZE):
            image = numpy.fromstring(data, numpy.uint8).reshape(IMAGE_HEIGHT, IMAGE_WIDTH, 4)
            imageDisp = cv2.cvtColor(image, cv2.COLOR_RGBA2BGR)
            cv2.imshow('Image', imageDisp)
            key = cv2.waitKey(1) & 0xFF
            if key == ord("q"):
                break
finally:
    sock.close()

根据评论的建议进行编辑