Android CameraX - 录制视频时的面部检测

Question

我在 Android 中使用带有 Firebase ML Kit 的新库 CameraX，并在设备可以检测的每一帧中检测人脸。

所以我这样设置 CameraX：

CameraX.bindToLifecycle(this, preview, imageCapture, faceDetectAnalyzer)

现在，所有工作都顺畅无阻，在我这样做的同时，我想录制一个视频。

所以基本上我想在录制视频时检测人脸。

我试过了：

CameraX.bindToLifecycle(this, preview, imageCapture, faceDetectAnalyzer, videoCapture)

但是我收到一个错误，说参数太多，所以我猜这不是正确的方法。

我知道这个库仍处于 alpha 阶段，但我想有办法做到这一点。

即使没有 jet，还有什么方法可以在使用 Firebase ML 录制视频时实现人脸检测？

Answer 1

我没有经常使用 CameraX，但我通常使用 Camera 2 API 和 Firebase ML Kit。

要同时使用这两个 API，您应该从预览大小 ImageReader 中获取 Image 回调。在该回调中，您可以使用该图像通过 API 创建一个 FirebaseVisionFace 并使用它做任何您想做的事情。 使用 Kotlin 和 Coroutines 应该如下所示：

 private val options: FirebaseVisionFaceDetectorOptions = FirebaseVisionFaceDetectorOptions.Builder()
    .setContourMode(FirebaseVisionFaceDetectorOptions.ALL_CONTOURS)
    .build()

val detector = FirebaseVision.getInstance().getVisionFaceDetector(options)

suspend fun processImage(image: Image): FirebaseVisionFace {
    val metadata = FirebaseVisionImageMetadata.Builder()
        .setWidth(image.width) // 480x360 is typically sufficient for image recognition
        .setHeight(image.height)
        .setFormat(FirebaseVisionImageMetadata.IMAGE_FORMAT_NV21)
        .build()

    val visionImage = FirebaseVisionImage.fromMediaImage(image)
    val firebaseVisionFace = detector.detectInImage(visionImage).await()

    return firebaseVisionFace
}

如果你想使用 await 方法来支持协程，你可以给 https://github.com/FrangSierra/Firebase-Coroutines-Android 一个战利品