OpenCV 并从 OutputArrays 或 (Mat) 读取数据

Question

OpenCV 自己的 PnP 和 Rodrigues 公式函数存在一些问题。我认为它与cv::solvePnPRansac()有关

 cv::Mat w = cv::Mat::zeros(3,1,CV_32FC1);
 cv::Mat t = cv::Mat::zeros(3,1,CV_32FC1);
 std::vector<float> distortion = {0,0,0,0};

 std::vector<cv::Point3f> tmp1 = eig_vec_to_cv3(pts);
 std::vector<cv::Point2f> tmp2 =  eig_vec_to_cv2(pixels);

 cv::solvePnPRansac(tmp1, tmp2, eig_mat_2_cv(K),distortion, w, t,false, 100, 2.0f);

 cv::Mat R_ = cv::Mat::zeros(3,3,CV_32FC1);
 cv::Rodrigues(w,R_);

 std::cout<<"R_"<<std::endl;
 std::cout<<R_<<std::endl;
 std::cout<<R_.at<float>(0,0)<<std::endl;

对于std::cout<<R_<<std::endl，它看起来没问题，但R_.at<float>(0,0) 给出了一个垃圾号码，就像没有分配内存一样。 w 和 t 也是如此。

但是，如果我这样做：

cv::Mat w_ = cv::Mat(3,1,cv_32FC1);
w.at<float>(0,0) = 0.2;
w.at<float>(0,1) = 0.4;
w.at<float>(0,2) = 0.3;

cv::Rodrigues(w_,R_);

std::cout<<"R_"<<std::endl;
std::cout<<R_<<std::endl;
std::cout<<R_.at<float>(0,0)<<std::endl;

效果很好。

这是一个最小（非）工作示例：

#include <opencv2/calib3d.hpp>
#include <opencv2/opencv.hpp>
#include <vector>

int main()
{
    cv::Mat w = cv::Mat(3,1,CV_32FC1);
    cv::Mat t = cv::Mat(3,1, CV_32FC1);

    std::vector<cv::Point3f> tmp1;
    std::vector<cv::Point2f> tmp2;

    for (int k = 0; k < 10; ++k)
    {
        cv::Point3f p1(0.2f+k, 0.3f-k, 7.5f-k);
        cv::Point2f p2(3.2f*k, 4.5f/k);
        tmp1.push_back(p1);
        tmp2.push_back(p2);
    }

    cv::Mat K = cv::Mat::zeros(3,3,CV_32FC1);
    K.at<float>(0,0) = 525.0;
    K.at<float>(0,2) = 234.5;
    K.at<float>(1,1) = 525;
    K.at<float>(1,2) = 312.5;
    K.at<float>(2,2) = 1.0f;

    std::vector<float> distortion = {0,0,0,0};

    cv::solvePnPRansac(tmp1, tmp2, K,distortion, w, t,false, 100, 2.0f);

    std::cout<<w<<std::endl;
    cv::Mat R = cv::Mat::zeros(3,3,CV_32FC1);
    cv::Rodrigues(w,R);
    std::cout<<R<<std::endl;

    std::cout<<R.at<float>(0,0)<<std::endl;
    return 0;
}

编译

g++ main.cpp -I /usr/local/include/opencv4/ -o test -L /usr/local/lib/ -lopencv_calib3d -lopencv_core

Answer 1

原因是函数cv::Rodrigues 创建了CV_64FC1 类型的输出矩阵。因此，值必须按如下方式读取：

std::cout<<R.at<double>(0,0)<<std::endl;

即使我们将输出矩阵预先分配为任何其他类型（比如CV_32FC1），它也会被cv::Rodrigues重新分配为类型CV_64FC1。

在我看来，OpenCV 文档对许多函数的输入和输出类型缺乏明确性。在这种情况下，必须通过打印Mat::type() 函数的返回值来确定输出类型。