如何在opencv中合并两个图像？

Question

我已经计算了单应性，取出了透视变换。我可以在一个窗口中显示两个图像但无法合并它们。这是我的示例图像->

我正在使用的代码 thiscode ->

cv::warpPerspective(image2,warpresult2,homography,cv::Size(2*image2.cols,image2.rows));


Mat imgResult(image1.rows,2*image1.cols,image1.type());

Mat roiImgResult_Left = imgResult(Rect(0,0,image1.cols,image1.rows)); 
Mat roiImgResult_Right = imgResult(Rect(image1.cols,0,image2.cols,image2.rows)); 

Mat roiImg1 = image1(Rect(0,0,image1.cols,image1.rows));
Mat roiImg2 = warpresult2(Rect(0,0,image2.cols,image2.rows));

roiImg1.copyTo(roiImgResult_Left); //Img1 will be on the left of imgResult
roiImg2.copyTo(roiImgResult_Right); //Img2 will be on the right of imgResult

imshow("Finalimg",imgResult);
imwrite("C:\\OpenCv_Projects\\outputimage.jpg",imgResult);
cvWaitKey(0);

我认为问题出在我给 roiImgResult_right 的坐标上。

输出图像是 -> 如您所见，图像未正确合并，右侧有黑色区域。如何也将其删除？

Answer 1

OpenCV 已经实现了图像拼接。如果你用“-D BUILD_EXAMPLES”编译，你可以使用二进制stitching_detailed。用法很简单：./stitching_detailed img1 img2 ...

或者，您可以只使用stitcher 类（来自here 的示例）：

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/stitching/stitcher.hpp"

using namespace std;
using namespace cv;

bool try_use_gpu = false;
string result_name = "result.jpg";

int main(int argc, char* argv[])
{
    vector<Mat> imgs;
    // add images...

    Mat pano;
    Stitcher stitcher = Stitcher::createDefault(try_use_gpu);
    stitcher.stitch(imgs, pano);
    imwrite(result_name, pano);
}

Answer 2

• 图像混合：您可以使用拉普拉斯金字塔blending。使用 opencv 查看示例代码here。你可以使用任何你喜欢的掩码（这是一个二进制掩码）。

• 创建全景图如果您想制作全景图，您可以使用 Min-Cut Stitching。一世 找到了这个做全景图的代码processing。

Answer 3

如果你做的更仔细，比如不裁剪和堆叠，而是使用 alphaBlend，那么你会发现一些奇怪的东西。

这是匹配的图像：

这是包装好的 img2：

这是做 alphablend 的掩码：

这是 alphaBlended：

---

我们可以很容易地在混合图像中找到鬼影。这是因为warpPerspective 和perspectiveTransform 无法真正找到real 相机投影方程。主要是因为图像面板是panel，但是cylindrical surface 或spherical surface 或更复杂。所以我们所做的工作还不够。

虽然好消息是OpenCV 提供High level stiching API，但我们可以通过OpenCV Stitching API 轻松进行拼接。结果如下。

代码：

//! 2018.01.16 14:43:26 CST
//! 2018.01.16 17:32:15 CST
#include <iostream>
#include <fstream>
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/stitching.hpp"
using namespace std;
using namespace cv;

Stitcher::Status stitchImages(vector<Mat>&imgs,string fname, Stitcher::Mode mode = Stitcher::PANORAMA, bool try_gpu=false) {
    Ptr<Stitcher> stitcher = Stitcher::create(mode, try_gpu);
    Mat pano;
    Stitcher::Status status = stitcher->stitch(imgs, pano);
    if (status != Stitcher::OK){
        cout << "Can't stitch images, error code = " << int(status) << endl;
        return -1;
    }
    imwrite(fname, pano);
    return status;
}

int main(int argc, char* argv[])
{

    vector<string>fnames = {
        "img1.jpg", "img2.jpg"
    };

    vector<Mat> imgs;
    for(auto fname: fnames) {
        imgs.emplace_back(imread(fname));
    }
    stitchImages(imgs, "scans.png",Stitcher::SCANS );
    stitchImages(imgs, "pano.png",Stitcher::PANORAMA );
}

---

一些有用的链接：

1. OpenCV 拼接：https://docs.opencv.org/3.3.0/d8/d19/tutorial_stitcher.html

2. OpenCV C++ 中的 Alpha 混合：Combining 2 images with transparent mask in opencv

3. OpenCV Python 中的 Alpha 混合： Gradient mask blending in opencv python

Answer 4

您可以使用addWeighted() 函数轻松混合两个图像。 但要求是你必须制作相同大小的图像。

如果图像大小不同，请先调整两个图像的大小。 然后调用下面的函数。

addWeighted(src1, alpha, src2, beta, 0.0, dst);

声明两个Mat文件

src1 = imread("c://test//blend1.jpg");
src2 = imread("c://test//blend2.jpg");

同时声明alpha和beta，然后将结果保存到Mat dst。

您也可以在这里获取详细信息Blending of Images using Opencv