从实时网络摄像头源中裁剪头部和上半身

Question

我正在寻找将头部和上半身轮廓裁剪成实时摄像头并将其放在虚拟背景前的方法。例如，缩放如何通过虚拟背景功能实现完全相同的功能？

我知道有 openCV，但我不知道只有面部检测或者它可以帮助裁剪整个头部和身体，包括头发、肩膀、手臂等。

我不确定 Instagram 之类的应用程序是如何做到的，但我知道它们具有用虚拟事物替换相机源的完整背景的功能。不知道他们是使用 ARKit 还是 ARCore，但即使这些平台也只支持检测面部的不同位置，不支持检测身体本身的边界。

感谢任何帮助。

谢谢， 阿米特。

Answer 1

Instagram 和 Snapchat 等应用程序使用自己的自定义程序来实现这一目标，例如 Instagram 案例中的 SparkAR 和 Snapchat 案例中的 Lens Studio。出于稳定性原因，我真的相信他们不使用 ARKit 或 ARCore。

现在，如果您正在构建自己的程序来检测人脸或背景，那么您最好从 OpenCV 开始。然后，在它的顶部，您将使用 MATLAB 来计算边界、头部或任何您想要实现的目标。