从 Windows.Media.Core.MediaSource 访问原始音频/视频帧

Question

我想在没有MediaPlayer 的控制台应用程序中使用Windows.Media.Core.MediaSource。相反，我只想将源设置为 mp4 流，然后获取原始音频和视频样本。

下面是我的代码，它可以加载MediaSource，但我看不到如何请求音频和视频样本？有一个 MediaStreamSource 属性，但它始终是 null。

using System;
using System.IO;
using System.Runtime.InteropServices;
using System.Threading.Tasks;
using Windows.Media.Capture.Frames;
using Windows.Media.Core;
using Windows.Media.MediaProperties;
using Windows.Media.Playback;

namespace ConsoleApp7
{
    [ComImport]
    [Guid("5B0D3235-4DBA-4D44-865E-8F1D0E4FD04D")]
    [InterfaceType(ComInterfaceType.InterfaceIsIUnknown)]
    unsafe interface IMemoryBufferByteAccess
    {
        void GetBuffer(out byte* buffer, out uint capacity);
    }

    class Program
    {
        static async Task Main(string[] args)
        {
            var fs = File.Open("big_buck_bunny.mp4", FileMode.Open);

            var mp4Src = Windows.Media.Core.MediaSource.CreateFromStream(fs.AsRandomAccessStream(), "video/mp4");
            await mp4Src.OpenAsync();
            Console.WriteLine($"state {mp4Src.State}, duration {mp4Src.Duration}, isopen {mp4Src.IsOpen}, has source {mp4Src.MseStreamSource}.");

            // Get access to raw audio/video samples???

            Console.ReadLine();
        }
    }
}

Answer 1

此 API 是 UWP 媒体播放器 API 的一部分。您不应该使用 MediaSource 阅读视频/音频示例，因为它被指定为具有统一媒体播放器播放项目管理的不同类型的 Media Foundation 媒体源的包装器。

MediaSource 唯一有用的是包装源并安排它们用于媒体播放器播放。媒体播放器能够在后台访问底层媒体基础资源。

MediaStreamSource 属性尤其是null，因为此媒体源实例不基于MediaStreamSource 实现。如果您创建了提供 MediaStreamSource 的媒体源，您将分别拥有该属性，前提是您可以访问最初提供的实现层。你有一个不同类型的源，所以你的非空属性很可能是IRandomAccessStream。

要检索单个样本，您需要诸如 Media Foundation Media Sources、Media Foundation Source Reader、Windows.Media.Capture.Frames for camera 之类的东西。