OpenCV：相对于参考图像移动/对齐面部图像（图像配准）

Question

我是 OpenCV2 的新手，正在从事一个情绪识别项目，并希望将面部图像与参考面部图像对齐。我想在转向旋转之前让图像翻译工作。当前的想法是在 x 和 y 坐标的有限范围内运行搜索，并使用平方差之和作为误差度量来选择最佳 x/y 参数来对齐图像。我正在使用 OpenCV face_cascade 函数来检测人脸图像，所有图像都被调整为固定的（128x128）。问题：我需要修改 Mat 图像的哪些参数才能在 x 和 y 轴上沿正/负方向移动图像？我相信 Mat 数据类型不再支持 setImageROI？我有两张脸的 ROI，但我不确定如何使用它们。

void alignImage(vector<Rect> faceROIstore, vector<Mat> faceIMGstore)
{
  Mat refimg = faceIMGstore[1]; //reference image
  Mat dispimg = faceIMGstore[52]; // "displaced" version of reference image
  //Rect refROI = faceROIstore[1]; //Bounding box for face in reference image
  //Rect dispROI = faceROIstore[52]; //Bounding box for face in displaced image
  Mat aligned;

  matchTemplate(dispimg, refimg, aligned, CV_TM_SQDIFF_NORMED);
  imshow("Aligned image", aligned);
}

这种方法的想法是基于Image Alignment Tutorial by Richard Szeliski Working on Windows with OpenCV 2.4。任何建议都非常感谢。

Answer 1

cv::Mat 确实支持 ROI。 （但它不支持 COI - 感兴趣的渠道。）

要应用 ROI，您可以使用 operator() 或特殊构造函数：

Mat refimgROI  = faceIMGstore[1](faceROIstore[1]); //reference image ROI
Mat dispimgROI(faceIMGstore[52], faceROIstore[52]); // "displaced" version of reference image ROI

您可以使用matchTemplate 函数来找到置换图像中的最佳位置。

---

根据您的 cmets，我可以建议以下代码，它将在第二个（置换的）补丁附近找到参考补丁的最佳位置：

Mat ref = faceIMGstore[1](faceROIstore[1]);
Mat disp = faceIMGstore[52](faceROIstore[52]);

disp = disp.adjustROI(5,5,5,5); //allow 5 pixel max adjustment in any direction
if(disp.cols < ref.cols || disp.rows < ref.rows)
    return 0;
Mat map;
cv::matchTemplate( disp, ref, map, CV_TM_SQDIFF_NORMED );

Point  minLoc;
cv::minMaxLoc( map, 0, &minLoc );

Mat adjusted = disp(Rect(minLoc.x, minLoc.y, ref.cols, ref.rows));