一个人看的任何一点的坐标都可以从他眼睛的照片中确定吗？答案

【问题标题】：Can the coordinate of any point that a person looks at be determined from the photo of his eyes?一个人看的任何一点的坐标都可以从他眼睛的照片中确定吗？
【发布时间】：2019-05-26 18:43:04
【问题描述】：

我打算用 MATLAB/Python 开发一个程序，它可以检测一个人正在看的空间中任何点的坐标。我希望通过在眼睛前放置一个装有摄像头的耳机并跟踪双眼的瞳孔来做到这一点。我仍然不知道这是否可能。这就是我需要帮助的原因。

【问题讨论】：

这是一篇关于你将要做什么的好文章learnopencv.com/facial-landmark-detection
@HaBom：这篇文章是关于面部特征的。 OP 只看眼睛。
@YvesDaoust 文章中有一部分谈到了用于头部姿势估计的 CLM 框架，我认为它可以帮助他一点。
@HaBom：头显上的摄像头拍摄头部姿势是不可能的。
@YvesDaoust 哦，是的，我错过了这些信息。所以任务变得更加困难。

标签： matlab image-processing video-processing

【解决方案1】：

这是一项具有挑战性的任务。

在某种程度上，您可以通过图像处理确定瞳孔的轮廓，以及一些虹膜的轮廓。然后将椭圆拟合到这些和椭圆轴的一些几何形状，为您提供大致的注视方向。然后从眼睛中画出两条光线并按照这些方向进行操作，这将为您提供一个会聚点。

您将获得的坐标将相对于图像平面，即相机的位置，相机将随头部移动。

无论如何，椭圆的精确轮廓将是不准确的，光线将无法准确穿过，角膜折射和透视会改变测量值，眼镜会移动一点，等等。

【讨论】：

感谢@YvesDaoust 了解上下文并提供帮助。我认为要估计两条光线，我可能需要眼球的中心，但这是不可能的，是吗？从眼睛的曲率？我不知道。我认为这个项目需要一些专业知识才能成功完成。
@user3660102：不，您只需要图像平面中的椭圆，将其反向投影到 3D 中的圆形。如果您对准确性的期望不高，该项目可以工作。您还需要眼镜上的摄像头来观察场景而不是眼睛。