无法让 FaceTracker 类在 HoloLens 2 上工作

Question

我无法让 FaceTracker Class 在 HoloLens 2 上工作。 一旦我尝试使用ProcessNextFrameAsync Method 检测人脸，就会出现以下异常：

System.Runtime.InteropServices.COMException (0x80004005): Unspecified error

这只是错误信息的第一部分，如果需要更多信息，我可以补充。

请参阅此以获取最小示例。

public async void Start()
{
    var selectedGroup = await FindCameraAsync();
    await StartMediaCaptureAsync(selectedGroup);
}

private async Task StartMediaCaptureAsync(MediaFrameSourceGroup sourceGroup)
{
    faceTracker = await FaceTracker.CreateAsync();
    this.mediaCapture = new MediaCapture();
    await this.mediaCapture.InitializeAsync(settings);
    this.frameProcessingTimer = ThreadPoolTimer.CreatePeriodicTimer(ProcessCurrentVideoFrameAsync, timerInterval);
}

private async Task ProcessCurrentVideoFrameAsync()
{
    const BitmapPixelFormat InputPixelFormat = BitmapPixelFormat.Nv12;
    var deviceController = this.mediaCapture.VideoDeviceController;
    this.videoProperties = deviceController.GetMediaStreamProperties(MediaStreamType.VideoPreview) as VideoEncodingProperties;
    VideoFrame videoFrame = new VideoFrame(InputPixelFormat, (int)this.videoProperties.Width (int)this.videoProperties.Height);

    IList<DetectedFace> detectedFaces;
    try
    {
        detectedFaces = await faceTracker.ProcessNextFrameAsync(videoFrame);
    }
    catch (Exception e)
    {
        System.Diagnostics.Debug.WriteLine($"Failed with Exception: {e.ToString()}");
        return;
    }

    videoFrame.Dispose();
}

1. 我用MediaFrameSourceKind.Color 和MediaStreamType.VideoPreview 和FindCameraAsync() 得到了一个合适的相机。我认为这很好用。
2. 启动MediaCapture 和StartMediaCaptureAsync() 内的FaceTracker
3. 尝试在ProcessCurrentVideoFrameAsync()中检测人脸

以下是我测试过的东西和我收到的信息：

• 我有一张格式为Nv12、PixelWidth1504 和PixelHeigt846 的图片
• 在 Unity 中为网络摄像头、图片库和麦克风授予权限
• 应用程序使用 Il2CPP 编译
• 启动应用程序后出现消息No capture devices are available.。在其他文章中提到缺少权限（网络摄像头或麦克风），但事实并非如此。但仍然可以连接。
• 我使用了Track faces in a sequence of frames 和Basic Face Tracking sample 作为参考

我非常感谢每一个激励和想法。

2020 年 7 月 14 日更新

我刚刚在 HoloLens 2 上本地存储的几个单独图像上尝试了FaceDetector。效果很好。

尽管FaceDetector 和FaceTracker 不相同，但它们非常相似。所以我猜这个问题与MediaCapture有关。

接下来我将尝试使用MediaCapture 捕获图像并使用FaceDetector 处理它。

如果有人在此期间有更多想法，我将不胜感激。

Answer 1

这是一个官方示例，展示了如何使用 FaceTracker 类在视频流中查找人脸：Basic face tracking sample。在第 256 行，这是从捕获设备获取预览帧的要点。

但是，根据您的代码，您创建了一个 VideoFrame 对象并为其指定了属性和格式，但是您缺少调用 GetPreviewFrameAsync 以将本机网络摄像头框架转换为 VideoFrame 对象。

您可以尝试以下代码来修复它：

private async Task ProcessCurrentVideoFrameAsync()
{
    const BitmapPixelFormat InputPixelFormat = BitmapPixelFormat.Nv12;
    var deviceController = this.mediaCapture.VideoDeviceController;
    this.videoProperties = deviceController.GetMediaStreamProperties(MediaStreamType.VideoPreview) as VideoEncodingProperties;
    VideoFrame videoFrame = new VideoFrame(InputPixelFormat, (int)this.videoProperties.Width (int)this.videoProperties.Height);

//add this line code.
    await this.mediaCapture.GetPreviewFrameAsync(videoFrame);