无法找出 cv.mat.step[0] 的 Numpy 等效项答案

【问题标题】：Cannot figure out Numpy equivalent for cv.mat.step[0]无法找出 cv.mat.step[0] 的 Numpy 等效项
【发布时间】：2016-09-18 10:58:07
【问题描述】：

我目前正在将代码从旧的 OpenCV 示例传输到 Python 中的 OpenCV3（使用 PyObjC 和 Quartz 模块）。 Objective-C 代码采用 UIImage 并创建可供 OpenCV 使用的材质。我的 python 代码采用 CGImage 并做同样的事情。

这是 Objective-C 代码：

(cv::Mat)cvMatFromUIImage:(UIImage *)image {
  CGColorSpaceRef colorSpace = CGImageGetColorSpace(image.CGImage);
  CGFloat cols = image.size.width;
  CGFloat rows = image.size.height;

  cv::Mat cvMat(rows, cols, CV_8UC4); // 8 bits per component, 4 channels (color channels + alpha)

  CGContextRef contextRef = CGBitmapContextCreate(cvMat.data,                 // Pointer to  data
                                                 cols,                       // Width of bitmap
                                                 rows,                       // Height of bitmap
                                                 8,                          // Bits per component
                                                 cvMat.step[0],              // Bytes per row
                                                 colorSpace,                 // Colorspace
                                                 kCGImageAlphaNoneSkipLast |
                                                 kCGBitmapByteOrderDefault); // Bitmap info flags

  CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), image.CGImage);
  CGContextRelease(contextRef);

  return cvMat;
}

这是我的 Python 等价物：

def macToOpenCV(image):
    color_space = CGImageGetColorSpace(image)
    column = CGImageGetHeight(image)
    row = CGImageGetWidth(image)
    mat = np.ndarray(shape=(row, column, 4), dtype=np.uint8)
    c_ref = CGBitmapContextCreate(mat,
                                  row,
                                  column,
                                  8,
                                  ,  # mat.step[0],
                                  color_space,
                                  kCGImageAlphaNoneSkipLast |
                                  kCGBitmapByteOrderDefault)

    CGContextDrawImage(c_ref, CGRectMake(0, 0, column, row), image)
    return mat

我相当有信心我目前拥有大部分权利，但我失去了我应该在 Numpy 中调用的 cvMat.step[0] 等价物。我也欢迎对代码段进行一些一般性的代码审查，因为当我使用 cv2.imshow() 时，我根本没有得到我期望的图像:)。

谢谢！

【问题讨论】：

标签： python objective-c macos opencv numpy

【解决方案1】：

我最终放弃了上述方法，并在稍作编辑后找到了这个堆栈溢出问题的答案：Converting CGImage to python image (pil/opencv)

image_ref = CGWindowListCreateImage(CGRectNull,
                                        kCGWindowListOptionIncludingWindow,
                                        wid,
                                        kCGWindowImageBoundsIgnoreFraming)

pixeldata = CGDataProviderCopyData(CGImageGetDataProvider(image_ref))

height = CGImageGetHeight(image_ref)
width = CGImageGetWidth(image_ref)

image = Image.frombuffer("RGBA", (width, height),
                         pixeldata, "raw", "RGBA", 0, 1)

# Color correction from BGRA to RGBA
b, g, r, a = image.split()
image = Image.merge("RGBA", (r, g, b, a))
np.array(image)
return np.array(image)

本例中的图像是 PIL.Image。您还可以看到我选择了自动步幅计算（frombuffer() 中的参数 0），主要是因为我无法使用答案所使用的函数。

【讨论】：

【解决方案2】：

从缓冲区很好，但是宽度不是 64 倍数的图片会被搞砸。见this one。我使用 nps frombuffer 和 as_strides 做了一个有效的方法，它跳过了坏点：

cg_img = CG.CGWindowListCreateImage(
    CG.CGRectNull,
    CG.kCGWindowListOptionIncludingWindow,
    wnd_id,
    CG.kCGWindowImageBoundsIgnoreFraming | CG.kCGWindowImageNominalResolution
)

bpr = CG.CGImageGetBytesPerRow(cg_img)
width = CG.CGImageGetWidth(cg_img)
height = CG.CGImageGetHeight(cg_img)

cg_dataprovider = CG.CGImageGetDataProvider(cg_img)
cg_data = CG.CGDataProviderCopyData(cg_dataprovider)

np_raw_data = np.frombuffer(cg_data, dtype=np.uint8)

np_data = np.lib.stride_tricks.as_strided(np_raw_data,
                                          shape=(height, width, 3),
                                          strides=(bpr, 4, 1),
                                          writeable=False)

【讨论】：