OpenCV SIFT detectAndCompute在android上崩溃而没有错误答案

【问题标题】：OpenCV SIFT detectAndCompute crashes without error on androidOpenCV SIFT detectAndCompute在android上崩溃而没有错误
【发布时间】：2022-01-09 15:59:56
【问题描述】：

我正在尝试在 android 应用中实现一些计算机视觉。

我已经集成了 opencv，并且正在为它编写使用 JNI 调用的本机 C++ 代码。这一切似乎都奏效了。我的问题是，在执行计算机视觉代码时，以下行会使应用程序崩溃而没有任何错误。

detector->detectAndCompute(usr_img,usr_mask,usr_keypoints,usr_descriptors);

如果我使用球体检测器，而不是筛选它确实有效。在我的物理设备上，它会在 knnMatch 上崩溃。而在模拟的 Pixel 5 上，它可以正确完成。也许这与我的 opencv 和 android 版本有关？

这是完整的计算机视觉代码：

void process_image(char* in_filepath,char* out_filepath){

   Mat usr_img = imread(in_filepath); //read images from the disk
   Mat ref_img = imread("redacted");
   Mat overlay_img = imread("redacted");
   Mat out_img;//make a copy for output
   usr_img.copyTo(out_img);

   //Set up feature detector
   Ptr<SIFT> detector = SIFT::create();
   //Ptr<ORB> detector = ORB::create(); //detectAndCompute works if I use this instead

   //Set up feature matcher
   Ptr<BFMatcher> matcher = BFMatcher::create(NORM_HAMMING,true);

   //generate mask for ref image (so features are not created from the background)
   Mat ref_mask; //defines parts of the ref image that will be searched for features.
   inRange(ref_img,Scalar(0.0,0.0,252.0),Scalar(2.0,2.0,255.0),ref_mask);
   bitwise_not(ref_mask,ref_mask);//invert the mask

   //and an all white mask for the usr image
   Mat usr_mask = Mat(usr_img.cols,usr_img.rows, CV_8UC1, Scalar(255.0));

   //detect keypoints
   std::vector<KeyPoint> ref_keypoints, usr_keypoints;
   Mat ref_descriptors, usr_descriptors;
   detector->detectAndCompute(ref_img,ref_mask,ref_keypoints,ref_descriptors);
   detector->detectAndCompute(usr_img,usr_mask,usr_keypoints,usr_descriptors);

   //match descriptors between images, each match is a vector of matches by decreasing "distance"
   std::vector<std::vector<DMatch>> matches;
   matcher->knnMatch(usr_descriptors,ref_descriptors,matches,2);

   //throw out bad matches
   std::vector<DMatch> good_matches;
   for(uint32_t i = 0; i < matches.size(); i++){
       //consider it a good match if the next best match is 33% worse
       if(matches[i][0].distance*1.33 < matches[i][1].distance){
           good_matches.push_back(matches[i][0]);
       }
   }

   //visualize the matches for debugging purposes
   Mat draw_match_img;
   drawMatches(usr_img,usr_keypoints,ref_img,ref_keypoints,good_matches,draw_match_img);
   imwrite("redacted",draw_match_img);
}

我的opencv版本是4.5.4

我的android版本在实体手机上是9，在模拟像素5上是11, api 30

【问题讨论】：

您不能将 NORM_HAMMING 与 SIFT 一起使用。还有：Mat usr_mask = Mat(usr_img.rows, usr_img.cols, CV_8UC1, Scalar(255.0));
@berak 谢谢，我已经解决了这些问题，但同样的问题仍然存在。

标签： android opencv computer-vision sift

【解决方案1】：

我发现了问题。

我的图像是 4000x3000 像素和大约 3000x1600。将这两个图像缩小 2 倍即可使一切正常工作。

我在每次阅读后添加了一个调整大小，如下所示：

resize(x_img,x_img,Size(),0.5,0.5,INTER_CUBIC);

这告诉我的是，opencv 4.5.4 中的 SIFT 具有图像大小限制，超过该限制执行将崩溃而没有错误消息。 ..烦人。

它还解释了为什么有些检测器工作而有些没有，甚至当我在真实设备和模拟设备上运行它时，它甚至似乎有所不同。

【讨论】：