前言

视频的时钟同步有时是很难理解的,甚至知道了理论并不能确保实现,需要通过实践获取各种参数以及具体的实现逻辑。本文将介绍一些视频时钟同步的具体实现方式。

一、直接延时

我们播放视频是可以直接延时的,这种方式比较不准确,但是也算是一种初级的方法。

1、根据帧率延时

每渲染一帧都进行一个固定的延时,这个延时的时间是通过帧率计算得来。

//获取视频帧率
AVRational framerate = play->formatContext->streams[video->decoder.streamIndex]->avg_frame_rate;
//根据帧率计算出一帧延时
double duration = (double)framerate.num / framerate.den;
//显示视频
略
//延时
av_usleep(duration* 1000000);

2、根据duration延时

每渲染一帧根据其duration进行延时,这个duration在视频的封装格式中通常会包含。

//获取当前帧的持续时间,下列方法有可能会无法获取duration,还有其他方法获取duration这里不具体说明,比如ffplay通过缓存多帧,来计算duartion。或者自己实现多帧估算duration。
AVRational timebase = play->formatContext->streams[video->decoder.streamIndex]->time_base;
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//显示视频
略
//延时
av_usleep(duration* 1000000);

二、同步到时钟

注:这一部分讲的只有视频时钟同步不涉及音频。

上面的简单延时一定程度可以满足播放需求,但也有问题,不能确保时间的准确性。尤其是解复用解码也会消耗时间,单纯的固定延时会导致累计延时。这个时候我们就需要一个时钟来校准每一帧的播放时间。

1、同步到绝对时钟

比较简单的方式是按绝对的方式同步到时钟,即视频有多长,开始之后一定是按照系统时间的长度播放完成,如果视频慢了则会不断丢帧,直到追上时间。

定义一个视频起始时间,在播放循环之外的地方。

//视频起始时间,单位为秒
double videoStartTime=0;

播放循环中进行时钟同步。下列代码的frame为解码的AVFrame。

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late,小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间,下列方法有可能会无法获取duration,还有其他方法获取duration这里不具体说明,比如ffplay通过缓存多帧,来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值,修正时间,时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时,避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 -videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧,duration为一帧的持续时间,在一个duration内是正常时间,加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染,进行丢帧。也可以渲染追帧。
	return;
}
//显示视频
略

2、同步到视频时钟

同步到视频时钟就是,按照视频播放的pts为基准,每次渲染的时候都根据当前帧的pts更新视频时钟。与上面的差距只是多了最底部一行时钟更新代码。

//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;

因为与上一节代码基本一致,所以不做具体说明,直接参考上一节说明即可。

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late,小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间,下列方法有可能会无法获取duration,还有其他方法获取duration这里不具体说明,比如ffplay通过缓存多帧,来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//大于阈值,修正时间,时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时,避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧,duration为一帧的持续时间,在一个duration内是正常时间,加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染,进行丢帧。也可以渲染追帧。
	return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略

三、同步到音频

1、音频时钟的计算

要同步到音频我们首先得计算音频时钟,通过音频播放的数据长度可以计算出pts。

定义两个变量,音频的pts,以及音频时钟的起始时间startTime。

//下列变量单位为秒
double audioPts=0;
double audioStartTime=0;

在sdl的音频播放回调中计算音频时钟。其中spec为SDL_AudioSpec是SDL_OpenAudioDevice的第四个参数。

//音频设备播放回调
static void play_audio_callback(void* userdata, uint8_t* stream, int len) {
    //写入设备的音频数据长度
    int dataSize;
    //将数据拷贝到stream
    略
    //计算音频时钟
    if (dataSize > 0)
	{
	  //计算当前pts
      audioPts+=(double) (dataSize)*/ (spec.freq * av_get_bytes_per_sample(forceFormat) * spec.channels);
      //更新音频时钟
      audioStartTime= = av_gettime_relative() / 1000000.0 -audioPts;
    }
}

2、同步到音频时钟

有了音频时钟后,我们需要将视频同步到音频,在二、2的基础上加入同步逻辑即可。

//同步到音频	
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;

完整代码

//以下变量时间单位为s	
//当前时间
double currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
//视频帧的时间
double	pts = frame->pts * (double)timebase.num / timebase.den;
//计算时间差,大于0则late,小于0则early。
double diff = currentTime - pts;
//视频帧的持续时间,下列方法有可能会无法获取duration,还有其他方法获取duration这里不具体说明,比如ffplay通过缓存多帧,来计算duartion。
double duration = frame->pkt_duration * (double)timebase.num / timebase.den;
//同步到音频	
double avDiff = 0;
avDiff = videoStartTime - audioStartTime;
diff += avDiff;
//大于阈值,修正时间,时钟和视频帧偏差超过0.1s时重新设置起点时间。
if (diff > 0.1)
{
	videoStartTime = av_gettime_relative() / 1000000.0 - pts;
	currentTime = pts;
	diff = 0;
}
//时间早了延时
if (diff < 0)
{
    //小于阈值,修正延时,避免延时过大导致程序卡死
    if (diff< -0.1)
    {
	    diff =-0.1;
    }
	av_usleep(-diff * 1000000);
	currentTime = av_gettime_relative() / 1000000.0 - videoStartTime;
	diff = currentTime - pts;
}
//时间晚了丢帧,duration为一帧的持续时间,在一个duration内是正常时间,加一个duration作为阈值来判断丢帧。
if (diff > 2 * duration)
{
	av_frame_unref(frame);
	av_frame_free(&frame);
	//此处返回即不渲染,进行丢帧。也可以渲染追帧。
	return;
}
//更新视频时钟
videoStartTime = av_gettime_relative() / 1000000.0 - pts;
//显示视频
略

总结

就是今天要讲的内容,本文简单介绍了几种视频时钟同步的方法,不算特别难,但是在网上查找的资料比较少。可以参考的ffplay的实现也有点复杂,本文的实现部分借鉴了ffplay。本文实现的时钟同步还是可以继续优化的,比如用pid进行动态控制。以及duration的计算可以细化调整。

原文地址:https://blog.csdn.net/u013113678/article/details/126449924

相关文章: