用于 OpenCV 的 Iphone 6 相机校准

Question

我正在使用 OpenCV 开发 iOS 增强现实应用程序。我在创建相机投影矩阵以允许 OpenGL 覆盖直接映射到标记顶部时遇到问题。我觉得这是由于我的 iPhone 6 相机没有正确校准到应用程序。我知道有 OpenCV 代码可以使用棋盘校准网络摄像头等，但我找不到校准嵌入式 iPhone 摄像头的方法。

有办法吗？或者是否有已知的 iPhone 6 估计值？其中包括：x和y的焦距，x和y的主点，以及畸变系数矩阵。

任何帮助将不胜感激。

编辑：

推导值如下（使用iPhone 6，摄像头分辨率1280x720）：

fx=1229
cx=360
fy=1153
cy=640

此代码为当前运行 iOS 9.1 的设备提供焦距和主要点的准确估计。

AVCaptureDeviceFormat *format = deviceInput.device.activeFormat;
CMFormatDescriptionRef fDesc = format.formatDescription;
CGSize dim = CMVideoFormatDescriptionGetPresentationDimensions(fDesc, true, true);

float cx = float(dim.width) / 2.0;
float cy = float(dim.height) / 2.0;

float HFOV = format.videoFieldOfView;
float VFOV = ((HFOV)/cx)*cy;

float fx = abs(float(dim.width) / (2 * tan(HFOV / 180 * float(M_PI) / 2)));
float fy = abs(float(dim.height) / (2 * tan(VFOV / 180 * float(M_PI) / 2)));

注意：

我在使用此代码时遇到了初始化问题。我建议在初始化并正确设置值后，将它们保存到数据文件中并读取该文件以获取值。

Answer 1

在我的非 OpenCV AR 应用程序中，我使用 iPhone 摄像头的视野 (FOV) 来构建摄像头投影矩阵。它可以很好地显示覆盖在相机视图顶部的太阳路径。 不知道你需要多少精度。可能只知道 FOV 是不够的。

iOS API 提供了一种获取相机视野的方法。我是这样理解的：

AVCaptureDevice  * camera = ...
AVCaptureDeviceFormat * format = camera.activeFormat;
float fieldOfView = format.videoFieldOfView;

得到 FOV 后，我计算投影矩阵：

typedef double mat4f_t[16]; // 4x4 matrix in column major order    

mat4f_t projection;
createProjectionMatrix(projection,
                       GRAD_TO_RAD(fieldOfView),
                       viewSize.width/viewSize.height,
                       5.0f,
                       1000.0f);

在哪里

void createProjectionMatrix(
        mat4f_t mout, 
        float fovy,
        float aspect, 
        float zNear,
        float zFar)
{
    float f = 1.0f / tanf(fovy/2.0f);

    mout[0] = f / aspect;
    mout[1] = 0.0f;
    mout[2] = 0.0f;
    mout[3] = 0.0f;

    mout[4] = 0.0f;
    mout[5] = f;
    mout[6] = 0.0f;
    mout[7] = 0.0f;

    mout[8] = 0.0f;
    mout[9] = 0.0f;
    mout[10] = (zFar+zNear) / (zNear-zFar);
    mout[11] = -1.0f;

    mout[12] = 0.0f;
    mout[13] = 0.0f;
    mout[14] = 2 * zFar * zNear /  (zNear-zFar);
    mout[15] = 0.0f;
}