如何从 vImage_Buffer 到 CVPixelBufferRef

Question

我正在我的 iOS 应用中录制实时视频。在另一个 Stack Overflow page 上，我发现你可以使用 vImage_Buffer 来处理我的框架。

问题是我不知道如何从输出的vImage_buffer 回到CVPixelBufferRef。

这是另一篇文章中给出的代码：

NSInteger cropX0 = 100,
          cropY0 = 100,
          cropHeight = 100,
          cropWidth = 100,
          outWidth = 480,
          outHeight = 480;

CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);                   
CVPixelBufferLockBaseAddress(imageBuffer,0);
void *baseAddress = CVPixelBufferGetBaseAddress(imageBuffer);
size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer);

vImage_Buffer inBuff;                       
inBuff.height = cropHeight;
inBuff.width = cropWidth;
inBuff.rowBytes = bytesPerRow;

int startpos = cropY0 * bytesPerRow + 4 * cropX0;
inBuff.data = baseAddress + startpos;

unsigned char *outImg = (unsigned char*)malloc(4 * outWidth * outHeight);
vImage_Buffer outBuff = {outImg, outHeight, outWidth, 4 * outWidth};

vImage_Error err = vImageScale_ARGB8888(&inBuff, &outBuff, NULL, 0);
if (err != kvImageNoError) NSLog(@" error %ld", err);

现在我需要将outBuff 转换为CVPixelBufferRef。

我认为我需要使用vImageBuffer_CopyToCVPixelBuffer，但我不确定如何使用。

我的第一次尝试以EXC_BAD_ACCESS: CVPixelBufferUnlockBaseAddress(imageBuffer, 0); 失败

CVPixelBufferRef pixelBuffer;
CVPixelBufferCreate(kCFAllocatorSystemDefault, 480, 480, kCVPixelFormatType_32BGRA, NULL, &pixelBuffer);
    
CVPixelBufferLockBaseAddress(pixelBuffer, 0);
    
vImage_CGImageFormat format = {
    .bitsPerComponent = 8,
    .bitsPerPixel = 32,
    .bitmapInfo = kCGBitmapByteOrder32Little | kCGImageAlphaNoneSkipFirst,  //BGRX8888
    .colorSpace = NULL,  //sRGB
};
    
vImageBuffer_CopyToCVPixelBuffer(&outBuff,
                                 &format,
                                 pixelBuffer,
                                 NULL,
                                 NULL,
                                 kvImageNoFlags);  // Here is the crash!
    
    
CVPixelBufferUnlockBaseAddress(pixelBuffer, 0);

有什么想法吗？

Answer 1

NSDictionary *options = [NSDictionary dictionaryWithObjectsAndKeys:
    [NSNumber numberWithBool : YES], kCVPixelBufferCGImageCompatibilityKey,
    [NSNumber numberWithBool : YES], kCVPixelBufferCGBitmapContextCompatibilityKey,
    [NSNumber numberWithInt : 480], kCVPixelBufferWidthKey,
    [NSNumber numberWithInt : 480], kCVPixelBufferHeightKey,
    nil];

status = CVPixelBufferCreateWithBytes(kCFAllocatorDefault,
                                      480,
                                      480,
                                      kCVPixelFormatType_32BGRA,
                                      outImg,
                                      bytesPerRow,
                                      NULL,
                                      NULL,
                                      (__bridge CFDictionaryRef)options,
                                      &pixbuffer);

您应该像上面那样生成一个新的pixelBuffer。

Answer 2

• 以防万一...如果您希望在界面中裁剪实时视频源，请使用AVPlayerLayer、AVCaptureVideoPreviewLayer 和/或其他CALayer 子类，使用图层边界，框架和位置为您的 100x100 像素区域到 480x480 区域。

vImage为您的问题备注（不同情况可能不同）：

1. CVPixelBufferCreateWithBytes 不适用于vImageBuffer_CopyToCVPixelBuffer()，因为您需要将vImage_Buffer 数据复制到“干净”或“空”CVPixelBuffer。

2. 无需锁定/解锁 - 确保您知道何时锁定和何时不锁定像素缓冲区。

3. 您的inBuff vImage_Buffer 只需要从像素缓冲区数据初始化，而不是手动（除非您知道如何使用CGContexts 等来初始化像素网格）

4. 使用vImageBuffer_InitWithCVPixelBuffer()

5. vImageScale_ARGB8888 会将整个 CVPixel 数据缩放为更小/更大的矩形。它不会将缓冲区的一部分/裁剪区域缩放到另一个缓冲区。

6. 当你使用vImageBuffer_CopyToCVPixelBuffer()时， vImageCVImageFormatRef & vImage_CGImageFormat 需正确填写。

   CGColorSpaceRef dstColorSpace = CGColorSpaceCreateWithName(kCGColorSpaceITUR_709);
   
   vImage_CGImageFormat format = {
       .bitsPerComponent = 16,
       .bitsPerPixel = 64,
       .bitmapInfo = (CGBitmapInfo)kCGImageAlphaPremultipliedLast  |  kCGBitmapByteOrder16Big ,
       .colorSpace = dstColorSpace
   };
   vImageCVImageFormatRef vformat = vImageCVImageFormat_Create(kCVPixelFormatType_4444AYpCbCr16,
                                                               kvImage_ARGBToYpCbCrMatrix_ITU_R_709_2,
                                                               kCVImageBufferChromaLocation_Center,
                                                               format.colorSpace,
                                                               0);
   
   CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault,
                                         480,
                                         480,
                                         kCVPixelFormatType_4444AYpCbCr16,
                                         NULL,
                                         &destBuffer);
   
   NSParameterAssert(status == kCVReturnSuccess && destBuffer != NULL);
   
   err = vImageBuffer_CopyToCVPixelBuffer(&sourceBuffer, &format, destBuffer, vformat, 0, kvImagePrintDiagnosticsToConsole);
   

注意：这些是带 Alpha 的 64 位 ProRes 的设置 - 调整为 32 位。