可以从 NIR 图像中轻松提取的最佳面部地标？

Question

我正在使用 IR 相机进行 Eye Gaze 估计。到目前为止，我已经检测到两个瞳孔中心点如下：

1. 使用 Haar 人脸级联检测人脸并将 ROI 设置为人脸。
2. 使用 Haar Eye 级联检测眼睛并将其分别命名为左眼和右眼。
3. 通过对眼睛区域设置阈值来检测瞳孔中心并找到瞳孔中心。

到目前为止，我已经尝试使用 Haar Eye Boundary 区域来查找注视方向。但是这个 Haar Eye rect 并不总是显示 Eye Corner 点。所以结果很差。

然后我尝试使用 GFTT、Harriscorners 和 FAST 检测眼角点，但由于我使用的是 NIR 相机，眼角点不清晰可见，因此我无法获得准确的角位置。所以我被困在这里了！

还有什么可以从面部轻松追踪的最佳特征？我听说过Flandmark，但我认为这在红外捕获的图像中也不起作用。

是否有可以从面部图像中轻松提取的特征？这里我附上了我的示例输出图像。

Answer 1

我建议使用 flandmark，即使您的直觉相反 - 我已经在我的硕士论文中使用了它（这是关于头部姿势估计，一个相关主题）。如果问题是它是否适用于您提供的示例图像，我认为它可能会正确检测特征 - 即使在灰度图像上也是如此。我认为，在应用检测器之前，他们可能会将图像转换为灰度（就像 haar 检测器一样）。此外，它令人惊讶地适用于低分辨率图像，这也是一个优势（特别是当您说眼角不清晰可见时）。而且 flandmark 可以同时检测眼角、嘴角和鼻尖（实际上我不会依赖最后一个，根据我的经验，在单个图像上检测鼻尖非常嘈杂，但是对于带有一些过滤（例如平均）的图像序列来说效果很好，卡尔曼）。如果您决定使用该技术并且它有效，请告诉我们！