使用相机校准估计到点的距离

Question

我想从该点的给定像素坐标估计距离（相机到地面上的一点：这意味着 Yw=0）。为此，我使用了相机校准方法

但结果没有意义。

我有以下校准细节

-焦距 x 和 y，主点 x 和 y，有效像素大小（米），偏航角和俯仰角以及相机高度等。

-我已输入焦距、主点和平移向量以像素为单位进行计算

-我将图像点与 camera_matrix 相乘，然后进行旋转|平移矩阵(R|t)，得到世界点。

我的程序正确吗？有什么问题？

结果
image_point(x,y) =400,380
world_point z 坐标(距离) = 12.53

image_point(x,y) =400,180
world_point z 坐标(距离) = 5.93

问题 z 坐标的像素很少， 这意味着 z 坐标是

这是我的matlab代码

%positive downward pitch
xR = 0.033;
yR = 0;
zR = pi;



%effective pixel size in meters = 10 ^-5 ; focal_length x & y = 0.012 m 
% principal point x & y = 320 and 240 
intrinsic_params =[1200,0,320;0,1200,240;0,0,1];
Rx=[1,0,0 ; 0,cos(xR),sin(xR); 0,-sin(xR),cos(xR)];
Ry=[cos(yR),0,-sin(yR) ; 0,1,0 ; sin(yR),0,cos(yR)];
Rz=[cos(zR),sin(zR),0 ; -sin(zR),cos(zR),0 ; 0,0,1];

R= Rx * Ry * Rz ;


% The camera is 1.17m above the ground
t=[0;117000;0];

extrinsic_params = horzcat(R,t);

% extrinsic_params is  3 *4  matrix

P = intrinsic_params * extrinsic_params; % P 3*4 matrix

% make it square ....
P_sq = [P; 0,0,0,1];

%image size is 640 x 480
%An arbitrary pixel 360,440 is entered as input

image_point = [400,380,0,1]; 
% world point will be in the form X Y Z 1 
world_point =    P_sq *  image_point'

Answer 1

您的程序是正确的，但它的方向是错误的。 请参阅此link。使用您的内在和外在校准矩阵，您可以找到 真实世界矢量 的 像素空间位置，而不是相反。例外情况是，如果您的相机在全局框架中是静止的并且您在全局空间中具有特征的 Z 位置。

固定摄像头，已知特征Z案例：（另见this link）

%% First we simulate a camera feature measurement
K = [0.5 0 320;
    0 0.5 240;
    0 0 1]; % Example intrinsics
R = rotx(0)*roty(0)*rotz(pi/4); % orientation of camera in global frame
c = [1; 1; 1]; %Pos camera in global frame

rwPt = [ 10; 10; 5]; %position of a feature in global frame
imPtH = K*R*(rwPt - c); %Homogeneous image point
imPt = imPtH(1:2)/imPtH(3) %Actual image point


%% Now we use the simulated image point imPt and the knowledge of the
% features Z coordinate to determine the features X and Y coordinates
%% First determine the scaling term lambda
imPtH2 = [imPt; 1]; 
z = R.' * inv(K) * imPtH2;
lambda = (rwPt(3)-c(3))/z(3);

%% Now the RW position of the feature is:
rwPt2 = c + lambda*R.' * inv(K) * imPtH2 % Reconstructed RW point

非固定相机包：

要找到从相机到特定特征（在图像平面上给出）的真实位置或距离，您必须采用某种方法从 2D 图像重建 3D 数据。

立即想到的两个是opencv的solvePnP和stereo-vision depth estimation。 solvePnP 需要 4 个共面（在 RW 空间中）特征在图像中可用，并且特征在 RW 空间中的位置是已知的。这听起来可能没什么用，因为您需要知道特征的 RW 位置，但您可以简单地使用 已知偏移量 定义 4 个特征，而不是全局框架中的位置 - 结果将是相机在定义特征的帧中的相对位置。solvePnP 给出了相机的非常准确的位姿估计。见我的example。

立体视觉深度估计需要在两个空间分离的图像中找到相同的特征，并且必须非常精确地知道 RW 空间中图像之间的变换。

可能还有其他方法，但这是我熟悉的两种。