经过一番调查,我能够在 OS X (VDA) 和 Linux (VDPAU) 上实现必要的硬件加速解码。当我掌握 Windows 实现时,我也会更新答案。
所以让我们从最简单的开始:
Mac OS X
要让硬件加速在 Mac OS 上运行,您只需使用以下命令:
avcodec_find_decoder_by_name("h264_vda");
但是请注意,您只能在 Mac OS 上使用 FFmpeg 加速 h264 视频。
Linux VDPAU
在 Linux 上,事情要复杂得多(谁感到惊讶?)。 FFmpeg 在 Linux 上有 2 个硬件加速器:VDPAU(Nvidia) 和 VAAPI(Intel),只有一个硬件解码器:用于 VDPAU。在上面的 Mac OS 示例中使用 vdpau 解码器似乎是完全合理的:
avcodec_find_decoder_by_name("h264_vdpau");
您可能会惊讶地发现它并没有改变任何东西,而且您根本没有加速度。那是因为这只是开始,您必须编写更多代码才能使加速工作。幸运的是,您不必自己想出解决方案:至少有 2 个很好的例子来说明如何实现这一点:libavg 和 FFmpeg 本身。 libavg 有 VDPAUDecoder 类,它非常清楚,我的实现基于它。您也可以咨询ffmpeg_vdpau.c 以获得另一个实现进行比较。不过,在我看来,libavg 的实现更容易掌握。
上述两个示例唯一缺少的是将解码帧正确复制到主存储器。这两个示例都使用了VdpVideoSurfaceGetBitsYCbCr,它扼杀了我在机器上获得的所有性能。这就是为什么您可能希望使用以下过程从 GPU 中提取数据:
bool VdpauDecoder::fillFrameWithData(AVCodecContext* context,
AVFrame* frame)
{
VdpauDecoder* vdpauDecoder = static_cast<VdpauDecoder*>(context->opaque);
VdpOutputSurface surface;
vdp_output_surface_create(m_VdpDevice, VDP_RGBA_FORMAT_B8G8R8A8, frame->width, frame->height, &surface);
auto renderState = reinterpret_cast<vdpau_render_state*>(frame->data[0]);
VdpVideoSurface videoSurface = renderState->surface;
auto status = vdp_video_mixer_render(vdpauDecoder->m_VdpMixer,
VDP_INVALID_HANDLE,
nullptr,
VDP_VIDEO_MIXER_PICTURE_STRUCTURE_FRAME,
0, nullptr,
videoSurface,
0, nullptr,
nullptr,
surface,
nullptr, nullptr, 0, nullptr);
if(status == VDP_STATUS_OK)
{
auto tmframe = av_frame_alloc();
tmframe->format = AV_PIX_FMT_BGRA;
tmframe->width = frame->width;
tmframe->height = frame->height;
if(av_frame_get_buffer(tmframe, 32) >= 0)
{
VdpStatus status = vdp_output_surface_get_bits_native(surface, nullptr,
reinterpret_cast<void * const *>(tmframe->data),
reinterpret_cast<const uint32_t *>(tmframe->linesize));
if(status == VDP_STATUS_OK && av_frame_copy_props(tmframe, frame) == 0)
{
av_frame_unref(frame);
av_frame_move_ref(frame, tmframe);
return;
}
}
av_frame_unref(tmframe);
}
vdp_output_surface_destroy(surface);
return 0;
}
虽然它内部使用了一些“外部”对象,但一旦您实现了“获取缓冲区”部分(上述示例对此有很大帮助),您应该能够理解它。另外我使用了BGRA 格式,更适合我的需要,也许你会选择另一个。
所有这些的问题在于,您不能仅通过 FFmpeg 使其工作,您至少需要了解 VDPAU API 的基础知识。我希望我的回答能帮助某人在 Linux 上实现硬件加速。在我意识到在 Linux 上实现硬件加速解码没有简单的单行方式之前,我自己花了很多时间。
Linux VA-API
由于我最初的问题是关于 VA-API,我不能不回答它。
首先,FFmpeg 中没有 VA-API 的解码器,所以avcodec_find_decoder_by_name("h264_vaapi") 没有任何意义:它是nullptr。
我不知道通过 VA-API 实现解码有多难(或者可能更简单?),因为我看到的所有示例都非常令人生畏。所以我选择完全不使用 VA-API,我必须为 Intel 卡实现加速。对我来说幸运的是,有一个 VDPAU 库(驱动程序?)可以在 VA-API 上运行。因此,您可以在 Intel 卡上使用 VDPAU!
我已使用以下 link 在我的 Ubuntu 上设置它。
此外,您可能想查看原始问题的 cmets,其中 @Timothy_G 还提到了一些有关 VA-API 的链接。