我可以让眼睛包含在 ARSCNFaceGeometry 中（从 VNFaceLandmarkRegion2D 获取 3D 瞳孔坐标）吗？答案

【问题标题】：Can I get eyes to be included in ARSCNFaceGeometry (to get 3D pupil coordinates from VNFaceLandmarkRegion2D)?我可以让眼睛包含在 ARSCNFaceGeometry 中（从 VNFaceLandmarkRegion2D 获取 3D 瞳孔坐标）吗？
【发布时间】：2018-07-01 18:51:45
【问题描述】：

我正在尝试在 iPhone X 上使用 ARKit 和 SceneKit 执行 3D 特征检测，并使用 Vision 来检测面部标志。然后我使用ARSCNView.hitTest 将二维人脸地标投射到使用ARSCNFaceGeometry 获得的人脸拓扑上。这很好用，但我在学生方面遇到了麻烦。很难用瞳孔获得命中测试结果，我假设这是因为面部几何形状在眼睛所在的位置有间隙。有没有办法从leftPupil 和rightPupil VNFaceLandmarkRegion2D 坐标中获得准确的z 值，例如通过将眼睛添加到面部几何图形以执行hitTest？

我目前的想法是使用周围 eye 地标的 z 值并将该值用于 unproject 进入场景的 2D 瞳孔，但当然这并不像我希望的那样准确是。任何帮助或任何其他想法将不胜感激，谢谢！

【问题讨论】：

标签： swift ios9 scenekit arkit

【解决方案1】：

如果您在创建ARSCNFaceGeometry 时传递fillMesh: true，则不会为眼睛和嘴巴留下空白。

https://developer.apple.com/documentation/arkit/arscnfacegeometry/2928202-init

【讨论】：

哇非常感谢！！我转而尝试使用 AVDepthData 方法来获取耳朵，这会带来其他障碍。但至少现在如果需要，我可以切换回主面几何体的命中测试。