哪个 openCv 函数可用于计算给定点坐标和相机外部/内部的 BEV 透视变换？

Question

我的相机有3x3intrinsics和4x3extrinsics矩阵，通过cv2.calibrateCamera()获得

现在我想使用这些参数来计算从相机获得的帧中任何给定坐标的BEV (Bird Eye View) 变换。

哪个openCv函数可用于计算给定点坐标和相机extrinsics和/或intrinsics3x3 matrices的BEV透视变换？

我在以下帖子中发现了一些非常相关的内容：https://deepnote.com/article/social-distancing-detector/ 基于https://www.pyimagesearch.com/2014/08/25/4-point-opencv-getperspective-transform-example/，

他们使用cv2.getPerspectiveTransform() 来获得3X3 matrix，但我不知道这个矩阵是否代表intrinsics、extrinsecs 或其他东西。然后他们通过以下方式使用这样的矩阵转换点列表：

#Assuming list_downoids is the list of points to be transformed and matrix is the one obtained above
list_points_to_detect = np.float32(list_downoids).reshape(-1, 1, 2)
transformed_points = cv2.perspectiveTransform(list_points_to_detect, matrix)

我真的需要知道是否可以使用cv2.perspectiveTransform 函数来计算转换，或者是否有其他更好的方法可以使用extrinsics、intrinsics 或两者兼而有之，而无需重复使用框架，因为我已经将检测到/选择的坐标保存在数组中。

Answer 1

答案是：如果您没有关于图像像素的距离相关信息，就不可能计算场景的 BEV。

想一想：假设您有一个垂直屏幕的图片：鸟瞰图将是一条线。现在假设这个屏幕正在显示风景的图像，并且这个屏幕的图片与风景本身的图片无法区分。 BEV 仍然是一条线（虽然是一条彩色的）。

现在，假设您有完全相同的图片，但这次不是屏幕图片，而是风景图片。然后，鸟瞰图不是一条线，更接近我们通常想象的 BEV。

最后，让我声明一下，OpenCV 无法知道您的图片是否在描述其他物体的平面（即使给定相机参数），因此，它无法计算场景的 BEV。函数cv2.perspectiveTransform 需要您向其传递一个单应性 矩阵（您可以使用cv2.findHomography() 获得一个矩阵，但您还需要一些有关图像的距离信息）。

很抱歉给出否定的答案，但仅考虑到相机的内在和外在校准矩阵，无法解决您的问题。

Answer 2

经过深入调查，我找到了一个很好的解决方案：

projection matrix 是extrinsic 和intrinsic 相机矩阵之间的乘积

• https://medium.com/analytics-vidhya/using-homography-for-pose-estimation-in-opencv-a7215f260fdd
• 由于extrinsic是4x3矩阵，intrinsec是3x3矩阵，但是我们需要projection matrix是3x3矩阵，那么我们需要转换extrinsic在执行乘法之前进入3x3。

cv2.getPerspectiveTransform() 在我们没有相机参数时给我们Projection Matrix：

• https://towardsdatascience.com/a-hands-on-application-of-homography-ipm-18d9e47c152f

cv2.warpPerspective() 转换图像本身。

对于上述问题，我们不需要这两个函数，因为我们已经有了extrinsics、intrinsecs 和图像中点的坐标。

考虑到上面介绍的情况，我编写了一个函数来转换为BEV 一个列表o 点list_x_y 给定intrinsics 和extrinsics：

    def compute_point_perspective_transformation(intrinsics, extrinsics, point_x_y):
    """Auxiliary function to project a specific point to BEV
        
        Parameters
        ----------
        intrinsics (array)     : The camera intrinsics matrix
        extrinsics (array)     : The camera extrinsics matrix
        point_x_y (tuple[x,y]) : The coordinates of the point to be projected to BEV
        
        Returns
        ----------
        tuple[x,y] : the projection of the point
    """
        # Using the camera calibration for Bird Eye View
        intrinsics_matrix = np.array(intrinsics, dtype='float32')
        #In the intrinsics we have parameters such as focal length and the principal point

        extrinsics_matrix = np.array(extrinsics, dtype='float32')
        #The extrinsic matrix stores the position of the camera in global space
        #The 1st 3 columns represents the rotation matrix and the last is a translation vector
        extrinsics = extrinsics[:, [0, 1, 3]]

        #We removed the 3rd column of the extrinsics because it represents the z coordinate (0)
        projection_matrix = np.matmul(intrinsics_matrix, extrinsics_matrix)

        # Compute the new coordinates of our points - cv2.perspectiveTransform expects shape 3
        list_points_to_detect = np.array([[point_x_y]], dtype=np.float32)
        transformed_points = cv2.perspectiveTransform(list_points_to_detect, projection_matrix)
        return transformed_points[0][0][0], transformed_points[0][0][1]