从 AVAssetWriter 读取实时 H.264 输出时数据损坏答案

【问题标题】：Data corruption when reading realtime H.264 output from AVAssetWriter从 AVAssetWriter 读取实时 H.264 输出时数据损坏
【发布时间】：2012-10-21 09:45:47
【问题描述】：

我正在使用一些技巧来尝试在将 AVAssetWriter 写入磁盘时读取它的原始输出。当我通过连接它们重新组装各个文件时，生成的文件与 AVAssetWriter 的输出文件的字节数完全相同。但是，重新组装的文件将无法在 QuickTime 中播放或被 FFmpeg 解析，因为存在数据损坏。这里和那里的几个字节已更改，导致生成的文件无法使用。我假设这发生在每次读取的 EOF 边界上，但这不是一致的损坏。

我计划最终使用与此类似的代码从编码器中解析出单个 H.264 NAL 单元，将它们打包并通过 RTP 发送，但是如果我不能信任从磁盘读取的数据，我可能不得不使用其他解决方案。

是否有此数据损坏的解释/修复？您是否找到了有关如何解析 NAL 单元以通过 RTP 打包的任何其他资源/链接？

完整代码在这里：AVAppleEncoder.m

// Modified from
// http://www.davidhamrick.com/2011/10/13/Monitoring-Files-With-GCD-Being-Edited-With-A-Text-Editor.html
- (void)watchOutputFileHandle
{
    dispatch_queue_t queue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
    int fildes = open([[movieURL path] UTF8String], O_EVTONLY);

    source = dispatch_source_create(DISPATCH_SOURCE_TYPE_VNODE,fildes,
                                                              DISPATCH_VNODE_DELETE | DISPATCH_VNODE_WRITE | DISPATCH_VNODE_EXTEND | DISPATCH_VNODE_ATTRIB | DISPATCH_VNODE_LINK | DISPATCH_VNODE_RENAME | DISPATCH_VNODE_REVOKE,
                                                              queue);
    dispatch_source_set_event_handler(source, ^
                                      {
                                          unsigned long flags = dispatch_source_get_data(source);
                                          if(flags & DISPATCH_VNODE_DELETE)
                                          {
                                              dispatch_source_cancel(source);
                                              //[blockSelf watchStyleSheet:path];
                                          }
                                          if(flags & DISPATCH_VNODE_EXTEND)
                                          {
                                              //NSLog(@"File size changed");
                                              NSError *error = nil;
                                              NSFileHandle *fileHandle = [NSFileHandle fileHandleForReadingFromURL:movieURL error:&error];
                                              if (error) {
                                                  [self showError:error];
                                              }
                                              [fileHandle seekToFileOffset:fileOffset];
                                              NSData *newData = [fileHandle readDataToEndOfFile];
                                              if ([newData length] > 0) {
                                                  NSLog(@"newData (%lld): %d bytes", fileOffset, [newData length]);
                                                  NSArray *paths = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES);
                                                  NSString *basePath = ([paths count] > 0) ? [paths objectAtIndex:0] : nil;
                                                  NSString *movieName = [NSString stringWithFormat:@"%d.%lld.%d.mp4", fileNumber, fileOffset, [newData length]];
                                                  NSString *path = [NSString stringWithFormat:@"%@/%@", basePath, movieName];
                                                  [newData writeToFile:path atomically:NO];
                                                  fileNumber++;
                                                  fileOffset = [fileHandle offsetInFile];
                                              }
                                          }
                                      });
    dispatch_source_set_cancel_handler(source, ^(void) 
                                       {
                                           close(fildes);
                                       });
    dispatch_resume(source);
}

以下是我发现的一些类似问题，但没有完全回答我的问题：

当我最终弄清楚这一点时，我将发布一个开源库来帮助将来尝试这样做的人。

谢谢！

更新： 损坏不会发生在 EOF 边界。似乎在调用 finishWriting 之后重写了部分文件。第一个文件被分块为 4KB，因此更改的区域不在 EOF 边界附近。当启用movieFragmentInterval 时，它似乎在新的“moov”元素附近也已损坏。

左边是正确的文件，右边是损坏的文件。

【问题讨论】：

不确定您在这里尝试做什么，您是否只是想回放正在缓存的assetWriter正在创建的文件，我认为有更简单的方法可以做到这一点。
不，我计划解析文件并提取单个 H.264 NAL 单元以打包并通过 RTP 发送，或者在写入文件时发送部分文件以进行连接服务器。

标签： objective-c nsdata grand-central-dispatch h.264 avassetwriter

【解决方案1】：

我最终放弃了“边读边写”的方法，转而采用手动分块方法，在后台线程上每 5 秒调用一次 finishWriting。我能够使用originally described here 方法丢弃的帧数可以忽略不计：

- (void) segmentRecording:(NSTimer*)timer {
    AVAssetWriter *tempAssetWriter = self.assetWriter;
    AVAssetWriterInput *tempAudioEncoder = self.audioEncoder;
    AVAssetWriterInput *tempVideoEncoder = self.videoEncoder;
    self.assetWriter = queuedAssetWriter;
    self.audioEncoder = queuedAudioEncoder;
    self.videoEncoder = queuedVideoEncoder;
    //NSLog(@"Switching encoders");

    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^{
        [tempAudioEncoder markAsFinished];
        [tempVideoEncoder markAsFinished];
        if (tempAssetWriter.status == AVAssetWriterStatusWriting) {
            if(![tempAssetWriter finishWriting]) {
                [self showError:[tempAssetWriter error]];
            }
        }
        if (self.readyToRecordAudio && self.readyToRecordVideo) {
            NSError *error = nil;
            self.queuedAssetWriter = [[AVAssetWriter alloc] initWithURL:[self newMovieURL] fileType:(NSString *)kUTTypeMPEG4 error:&error];
            if (error) {
                [self showError:error];
            }
            self.queuedVideoEncoder = [self setupVideoEncoderWithAssetWriter:self.queuedAssetWriter formatDescription:videoFormatDescription bitsPerSecond:videoBPS];
            self.queuedAudioEncoder = [self setupAudioEncoderWithAssetWriter:self.queuedAssetWriter formatDescription:audioFormatDescription bitsPerSecond:audioBPS];
            //NSLog(@"Encoder switch finished");

        }
    });
}

完整源代码：https://github.com/chrisballinger/FFmpeg-iOS-Encoder/blob/master/AVSegmentingAppleEncoder.m

【讨论】：

我正在处理一个类似的问题，并且一直在使用一对 AVAssetWriters 来管理这个问题。我发现单个 MP4 中的音频和视频轨道具有不同的长度，这会导致在几次连接后出现同步的主要问题。您设法解决了这个问题吗？
谢谢，但是如何将相机输入连接到 AVAssetWriter？

【解决方案2】：

在 iOS 上读取正在主动录制的 MOV 文件时，您必须检查提到的 4 个字节是否有更改，并重新写入这四个字节，然后检查文件中的附加数据，并发送附加数据。然后完成后，将文件截断为写入的文件大小。

显然，这取决于您将文件发送到哪里。我使用发送（偏移量，字节数）到接收器。所以我发送“附加数据”、“更多附加数据”、...、(24,4) 处的新数据、“更多附加数据”。

通常 iOS 仅在文件即将关闭时（也就是在最后一次媒体写入之后）写入 4 字节（数据段的大小）记录。（参见“Quicktime atom”的信息）。不幸的是，这也意味着 MOV 文件在录制完成之前是不可播放的（并且电影描述符写在文件的末尾）。

【讨论】：

你能举个例子来说明如何做到这一点吗？您的回答令人困惑且无法理解。 @柯克