我阅读了有关所有 ARKit 类的完整文档。我没有看到任何描述实际获取用户面部纹理的能力的地方。
ARFaceAnchor 包含 ARFaceGeometry（由顶点组成的拓扑和几何）和 BlendShapeLocation 数组（坐标允许通过操纵用户面部顶点的几何数学来操纵单个面部特征）。
但是我在哪里可以获得用户面部的实际纹理。例如：实际的肤色/颜色/质地、面部毛发、其他独特特征，如疤痕或胎记？或者这根本不可能？
【问题讨论】：
您想要一张纹理贴图风格的面部图像吗？没有任何 API 可以完全满足您的要求，但您需要的所有信息都在那里：
ARFrame.capturedImage 为您获取相机图像。ARFaceGeometry 为您提供面部的 3D 网格。ARAnchor 和 ARCamera 一起告诉您面部相对于相机的位置，以及相机与图像像素的关系。因此，完全可以使用当前视频帧图像对面部模型进行纹理处理。对于网格中的每个顶点...
这将为您获取每个顶点的纹理坐标，然后您可以使用该坐标来使用相机图像对网格进行纹理处理。您可以一次全部执行此数学运算以替换 ARFaceGeometry 提供的纹理坐标缓冲区，或者在渲染期间在 GPU 上的着色器代码中执行此运算。 （如果您使用 SceneKit / ARSCNView 进行渲染，您可能可以在 geometry 入口点的着色器修改器中执行此操作。）
如果您想知道相机图像中的每个像素对应于面部几何图形的哪个部分，那就有点困难了。您不能仅仅颠倒上述数学，因为您缺少每个像素的深度值......但如果您不需要映射每个像素，SceneKit 命中测试是获取单个像素几何的简单方法。
如果您实际要求的是地标识别 - 例如相机图像中的位置是眼睛、鼻子、胡须等——ARKit 中没有用于这些的 API。 Vision 框架可能会有所帮助。
【讨论】：
ARFaceGeometry 提供了一个新的面部网格，更新了顶点位置以匹配面部的当前姿势/表情，在每一帧。所以“all at once”是“all at once per frame”；也就是说，每次你得到一个具有更新几何的新锚点时，你都会遍历它的顶点缓冲区并生成一个新的纹理坐标缓冲区，将每个顶点映射到视频图像中当前该顶点“后面”的点.
我整理了一个demo iOS app 来展示如何实现这一点。该演示实时捕获面部纹理贴图，并将其应用回ARSCNFaceGeometry 以创建用户面部的纹理 3D 模型。
您可以在下方看到左上角的实时纹理 3D 面部模型，覆盖在 AR 前置摄像头视图的顶部：
该演示通过渲染ARSCNFaceGeometry 来工作，但是不是正常渲染它，而是在纹理空间中渲染它，同时继续使用原始顶点位置来确定从捕获的像素数据中的采样位置。
以下是实现相关部分的链接：
FaceTextureGenerator.swift——生成面部纹理的主要类。这会设置一个Metal render pipeline 来生成纹理。
faceTexture.metal — 用于生成面部纹理的顶点和片段着色器。它们在纹理空间中运行。
几乎所有的工作都是在金属渲染过程中完成的，因此它很容易实时运行。
我还 put together some notes 介绍了演示的局限性
如果您想要用户面部的 2D 图像，您可以尝试执行以下操作：
将转换后的 ARSCNFaceGeometry 渲染到 1 位缓冲区以创建 image mask。基本上你只想要面部模型看起来是白色的地方，而其他一切都应该是黑色的。
将蒙版应用于捕获的帧图像。
这应该会给你一张只有人脸的图像（尽管你可能需要裁剪结果）
【讨论】：
FaceTextureGenerator.swift 以从跟踪用户面部的 ARMesh 中提取几何体，而不是从 SceneKit 几何体中提取几何体
可以如下计算纹理坐标：
let geometry = faceAnchor.geometry
let vertices = geometry.vertices
let size = arFrame.camera.imageResolution
let camera = arFrame.camera
modelMatrix = faceAnchor.transform
let textureCoordinates = vertices.map { vertex -> vector_float2 in
let vertex4 = vector_float4(vertex.x, vertex.y, vertex.z, 1)
let world_vertex4 = simd_mul(modelMatrix!, vertex4)
let world_vector3 = simd_float3(x: world_vertex4.x, y: world_vertex4.y, z: world_vertex4.z)
let pt = camera.projectPoint(world_vector3,
orientation: .portrait,
viewportSize: CGSize(
width: CGFloat(size.height),
height: CGFloat(size.width)))
let v = 1.0 - Float(pt.x) / Float(size.height)
let u = Float(pt.y) / Float(size.width)
return vector_float2(u, v)
}
【讨论】：
没有。 ARKit 目前没有该信息。
要检测其他面部特征，您需要运行自己的自定义计算机视觉代码。您可以使用AVFoundation从前置摄像头捕获图像。
【讨论】：