使用视频工具箱在 iOS 8 中解码 h264

Question

需要解码 h264 流并获取像素缓冲区

我知道在 iOS 8 上可以使用视频工具箱

1.如何将h264流转成CMSampleBufferRef？

2.如何使用视频工具箱进行解码？

Answer 1

我假设你得到的是附件 B 格式的流，如果它已经是 AVCC 格式（读取 MP4），那么你可以使用 AssetReader 而不需要做太多。

对于附件 B 流（这就是人们通常所说的原始 h264 流）。

1. 提取 SPS/PPS NAL 单元并从中创建参数集。您会定期收到它们。它们包含有关如何解码帧的信息。

2. 使用持续时间（您可以从解析 SPS 的 VUI 部分中获取）和演示时间戳和解码时间戳创建 TimingInfo 数组。如果以 MPEG2 TS 形式接收流，则从 PESr 获取时间戳。如果不只是根据您的计算提供缺失的信息。

3. 将 VLC NAL 单元包装在 CMBlockBuffer 中。您可以将多个放入其中。如果您通过 RTP 接收流，这可能会导致 NAL 单元碎片化，请确保每个 NAL 单元都是完整的。

4. 在 CMBlockbuffer 中包装 NAL 单元时，将 3 或 4 字节的起始码替换为长度标头。

5. 向 CMSampleBufferCreate 提供信息，您可以在 VTDecompressionSession 中解码帧

WWDC 提供了一个预设，可以更详细地解释这些步骤，并提供示例代码。

Answer 2

试试这个工作代码。将编码的 CMSampleBufferRef 提供给 sampleBuffer。

if(!decompressionSession)
    {
    CMFormatDescriptionRef formatDescription=CMSampleBufferGetFormatDescription(sampleBuffer);
    decompressionSession = NULL;
    VTDecompressionOutputCallbackRecord callBackRecord;
    callBackRecord.decompressionOutputCallback=didDecompress;
    callBackRecord.decompressionOutputRefCon = (__bridge void *)self;
    OSStatus status1= VTDecompressionSessionCreate(kCFAllocatorDefault, formatDescription, NULL, NULL, &callBackRecord, &decompressionSession);
    }
    else
    {
        VTDecodeFrameFlags flags = kVTDecodeFrame_EnableAsynchronousDecompression;
        VTDecodeInfoFlags flagOut;
        VTDecompressionSessionDecodeFrame(decompressionSession, sampleBuffer, flags, NULL, &flagOut);
        VTDecompressionSessionWaitForAsynchronousFrames(decompressionSession);

    }



Decompression all back

static void didDecompress( void *decompressionOutputRefCon, void *sourceFrameRefCon, OSStatus status, VTDecodeInfoFlags infoFlags, CVImageBufferRef imageBuffer, CMTime presentationTimeStamp, CMTime presentationDuration ){
 if(status==noErr)
    {
        NSLog(@"SUCCESS PROCEED FROM HERE !!!!");
    }
}

// 请记住，您在编码时提供了正确的演示时间。这里我为您提供编码详细信息..

//ENCODING-------------------ENCODING---------------ENCODING
if(!_compression_session)
{
  NSDictionary* pixelBufferOptions = @{
                                          (NSString*) kCVPixelBufferWidthKey : @(widthOFCaptureImage),
                                          (NSString*) kCVPixelBufferHeightKey : @(heightOFCaptureImage),
                                          (NSString*) kCVPixelBufferOpenGLESCompatibilityKey : @YES,
                                          (NSString*) kCVPixelBufferIOSurfacePropertiesKey : @{}};
_compression_session=NULL;
 CFMutableDictionaryRef encoderSpecifications = NULL;
  err = VTCompressionSessionCreate(
                                     kCFAllocatorDefault,
                                     widthOFCaptureImage,
                                     heightOFCaptureImage,
                                     kCMVideoCodecType_H264,
                                     encoderSpecifications,
                                     (__bridge CFDictionaryRef)pixelBufferOptions,
                                     NULL,
                                     compressionCallback,
                                     (__bridge void *)self,
                                     &_compression_session);
}
else
{


 CMTime presentationTimeStamp = CMSampleBufferGetPresentationTimeStamp(sampleBufferIs);
  CVPixelBufferRef pixelbufferPassing= CMSampleBufferGetImageBuffer(sampleBufferIs);
          OSStatus status1= VTCompressionSessionEncodeFrame(_compression_session, pixelbufferPassing, presentationTimeStamp, kCMTimeInvalid, NULL, NULL, NULL);
 VTCompressionSessionEndPass(_compression_session, NO, NULL);
}

//编码回调------------------------------------------

  static void compressionCallback(void *outputCallbackRefCon,
                             void *sourceFrameRefCon,
                             OSStatus status,
                             VTEncodeInfoFlags infoFlags,
                             CMSampleBufferRef sampleBuffer ){
    }

//最好的祝愿:)编码愉快:)