使用 MATLAB 对视频进行图像检测和跟踪

Question

我有一个倒立摆视频here，时长为 33 秒。目标是在钟摆的移动矩形部分的中心绘制一个红点，并沿着黑棒绘制一条线，计算每帧的角度。

我已经逐帧处理了视频。然后我使用了Object Detection In A Cluttered Scene Using Point Feature Matching。如果我可以访问匹配点的索引，然后我可以轻松计算角度，那就太好了。

我认为我可以得到移动矩形部分的区域并在下一帧中寻找相似的区域。但是这个解决方案似乎太本地化了。

我不知道该应用哪些技术。

clear all;
clc;

hVideoFileReader = vision.VideoFileReader;
hVideoPlayer = vision.VideoPlayer;

hVideoFileReader.Filename = 'inverted-pendulum.avi';

hVideoFileReader.VideoOutputDataType = 'single';

while ~isDone(hVideoFileReader)

    grayFrame = rgb2gray(step(hVideoFileReader)); 
    frame = step(hVideoFileReader); 

    if isFirstFrame
        part = grayFrame(202:266,202:282); % #moving part's region
        isFirstFrame = false;
        subplot(1,2,1);
        imshow(part);
    end

    partPoints = detectSURFFeatures(part);
    grayFramePoints = detectSURFFeatures(grayFrame);


    hold on;
    subplot(1,2,1),    plot(partPoints .selectStrongest(10));    
    subplot(1,2,2),    imshow(grayFrame);

    subplot(1,2,2),    plot(grayFramePoints .selectStrongest(20));


    frame2 = pointPendulumCenter(frame);  

    frame3 = plotLineAlongStick(frame2); 

    step(hVideoPlayer, frame3); 


    hold off;

end

release(hVideoFileReader);
release(hVideoPlayer);


%% #Function to find the moving part's center point and plot a red dot on it.
function f = pointPendulumCenter(frame)
end

%% #Function to plot a red line along the stick after calculating the angle of it.
function f = plotLineAlongStick(frame)
end

Answer 1

如果您的相机不动，问题就会变得容易得多。如果您使用固定相机（例如安装在三脚架上）拍摄视频，则可以使用 vision.ForegroundDetector 从静态背景中分割出移动的物体。