【问题标题】:RaspiCam fisheye calibration with OpenCV使用 OpenCV 进行 RaspiCam 鱼眼校准
【发布时间】:2018-11-24 05:15:26
【问题描述】:

我正在尝试使用 OpenCV 校准 RaspiCam 鱼眼镜头相机。我正在使用 Python 示例代码,棋盘的行号和列号也是正确的,但不知何故我无法获得成功的结果。我已经用下面的很多照片进行了测试,你可以看到它们。我的源代码:https://github.com/jagracar/OpenCV-python-tests/blob/master/OpenCV-tutorials/cameraCalibration/cameraCalibration.py

我的棋盘行和列:rows = 9, cols = 6

但没有得到成功的结果

编辑:我的解决方案

https://gist.github.com/mesutpiskin/0412c44bae399adf1f48007f22bdd22d

【问题讨论】:

    标签: python opencv camera-calibration fisheye


    【解决方案1】:

    从 opencv 3 开始,引入了fisheye 模块,它可以很好地管理鱼眼镜头的校准。 (至少对于那些不熟悉校准过程背后的数学的人来说。)

    # Checkboard dimensions
    CHECKERBOARD = (6,9)
    subpix_criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.1)
    calibration_flags = cv2.fisheye.CALIB_RECOMPUTE_EXTRINSIC + cv2.fisheye.CALIB_CHECK_COND + cv2.fisheye.CALIB_FIX_SKEW
    objp = np.zeros((1, CHECKERBOARD[0]*CHECKERBOARD[1], 3), np.float32)
    objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)
    
    objpoints = [] # 3d point in real world space
    imgpoints = [] # 2d points in image plane.
    
    ### read images and for each image:
    img = cv2.imread(fname)
    img_shape = img.shape[:2]
    
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD, cv2.CALIB_CB_ADAPTIVE_THRESH+cv2.CALIB_CB_FAST_CHECK+cv2.CALIB_CB_NORMALIZE_IMAGE)
    # If found, add object points, image points (after refining them)
    if ret == True:
        objpoints.append(objp)
        cv2.cornerSubPix(gray,corners,(3,3),(-1,-1),subpix_criteria)
        imgpoints.append(corners)
    ###
    
    # calculate K & D
    N_imm = # number of calibration images
    K = np.zeros((3, 3))
    D = np.zeros((4, 1))
    rvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_imm)]
    tvecs = [np.zeros((1, 1, 3), dtype=np.float64) for i in range(N_imm)]
    retval, K, D, rvecs, tvecs = cv2.fisheye.calibrate(
        objpoints,
        imgpoints,
        gray.shape[::-1],
        K,
        D,
        rvecs,
        tvecs,
        calibration_flags,
        (cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER, 30, 1e-6))
    

    现在你有了 KD,你可以不失真了:

    img = # your image to undistort
    map1, map2 = cv2.fisheye.initUndistortRectifyMap(K, D, np.eye(3), K, DIM, cv2.CV_16SC2)
    undistorted_img = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR, borderMode=cv2.BORDER_CONSTANT)
    

    这应该可行!

    更新

    如果要查看图像的隐藏部分(例如上图中黄色框外的部分),校准后需要这样:

    img = cv2.imread(img_path)
    img_dim = img.shape[:2][::-1]  
    
    DIM = # dimension of the images used for calibration
    
    scaled_K = K * img_dim[0] / DIM[0]  
    scaled_K[2][2] = 1.0  
    new_K = cv2.fisheye.estimateNewCameraMatrixForUndistortRectify(scaled_K, D,
        img_dim, np.eye(3), balance=balance)
    map1, map2 = cv2.fisheye.initUndistortRectifyMap(scaled_K, D, np.eye(3),
        new_K, img_dim, cv2.CV_16SC2)
    undist_image = cv2.remap(img, map1, map2, interpolation=cv2.INTER_LINEAR,
        borderMode=cv2.BORDER_CONSTANT)
    

    现在,通过改变balance 值,您应该减小或增大最终图像的大小(与上图相比,实际上是黄色矩形)。

    来自 OpenCV API: balance:在最小焦距和最大焦距之间设置新的焦距。余额在 [0, 1] 范围内。

    【讨论】:

    • 我有一个问题要问你。图像的边缘不会出现。看看这个链接image.ibb.co/mg6dKd/Screenshot_2.png
    • 您的鱼眼图像不失真手册非常好,但您忘了说一件重要的事情。如果相机 FOV 小于 180 度,cv2.fisheye 可以正常工作。当 FOV 等于 180 度时,未失真图像的大小将等于无穷大。
    • 我有一个问题:我们如何才能使未失真图像的输出更大?例如,输入图像是 [640,480]。我想将余额设置为 0.0,并且我希望图像为 [1280,960]。
    • @Frank,这对我来说更像是一个 CV.resize 问题。
    【解决方案2】:

    首先,据我所知,您的相机具有鱼眼光学元件,但它并不能提供鱼眼图像的所有表面(通常是黑框内的圆圈)。 第二。您使用的代码适用于普通相机或广角(90-110 度),不适用于鱼眼(~ 180 度)。 第三。您可以使用来自HERE的源代码URL链接

    【讨论】:

    • 您好,感谢您的回答,这应该可以!但我有一个问题图像的边缘没有出现。看看这个链接image.ibb.co/mg6dKd/Screenshot_2.png我的相机规格光圈(F):2.35视野:160度对角线:160度水平角:120度
    猜你喜欢
    • 2018-04-15
    • 2023-03-15
    • 2016-05-20
    • 2012-10-12
    • 2017-04-27
    • 1970-01-01
    • 1970-01-01
    • 2021-07-08
    • 2021-12-30
    相关资源
    最近更新 更多