OpenCv - 从网络摄像头捕获帧时发生内存泄漏

Question

我正在编写一个 C 应用程序，它使用 OpenCv 从网络摄像头捕获图像，然后将图像保存到文件中。它在针对 OpenCv 2.3.1-11 的 Raspian OS Wheezy 上运行。

如果我只是像这样打开和关闭网络摄像头，就没有内存泄漏，所以我认为我不会遇到关于“网络摄像头开放税”的旧错误：

CvCapture* capture;
while (1) {
  // No increase in memory consumption at all
  capture = cvCreateCameraCapture(0);
  cvReleaseCapture(&capture);
}

但是，当我真正开始获取图像时，内存消耗会激增，并且每次迭代都会消耗另外 2MB 的内存。我在手动触发图像采集时在命令行通过free -s 2 确认，并注意到最终，我的应用程序抱怨没有足够的内存来采集图像。

capture = cvCreateCameraCapture(0);
while (1) {
   if (capture) {
      frame = cvQueryFrame(capture);
   }
   if (frame) {
      CvSize size = cvSize(100, 100);
      tmp = cvCreateImage(size, IPL_DEPTH_8U, 3);
      cvResize(frame, tmp, CV_INTER_CUBIC);
      // Do some stuff with tmp
   }
}
cvReleaseCapture(&capture);

我在网上查了很多帖子，都说我不支持修改frame中存储的数据。如果我在frame 上使用cvReleaseImage，它没有效果。事实上，内存使用量仅因cvQueryFrame 调用而爆炸式增长。即使是下面的示例也会导致此问题弹出：

capture = cvCreateCameraCapture(0);
while (1) {
   if (capture) {
      frame = cvQueryFrame(capture);
   }
}
cvReleaseCapture(&capture);

我该如何解决这个问题？

我真的必须使用 C++ API（目前对我来说不是一个真正的选择），还是有其他方法可以解决这个问题？这是一个 Gtk+-2.0 应用程序，我包含的唯一标题是：

/*******************************************************************************
 * Preprocessor Directives
 ******************************************************************************/
#include "opencv/cxcore.h"
#include "opencv2/highgui/highgui_c.h"
#include "opencv2/imgproc/imgproc_c.h"

#include <gtk/gtk.h>
#include <gdk-pixbuf/gdk-pixbuf.h>

那里似乎混合了opencv 和opencv2，但我找不到只有opencv 标题并在没有它们的情况下访问相机的方法。我担心这可能会导致某些仅 C++ 的代码以未定义的方式初始化。解决内存泄漏的任何帮助，或者如果需要，在 C++ 中创建没有泄漏的等效代码将非常有帮助。

感谢您的帮助。

Answer 1

这个不会泄露给我的：

#include <opencv2\opencv.hpp>
int main()
{
    CvCapture* capture;
    IplImage* frame;

    capture = cvCreateCameraCapture(0);
    while (1) 
    {
       if (capture) 
       {
          frame = cvQueryFrame(capture);
       }
    }
    cvReleaseCapture(&capture);
}

这个明显漏了：

int main()
{
    CvCapture* capture;
    IplImage* frame;
    IplImage* tmp;

    capture = cvCreateCameraCapture(0);
    while (1) {
       if (capture) {
          frame = cvQueryFrame(capture);
       }
       if (frame) {
          CvSize size = cvSize(100, 100);
          tmp = cvCreateImage(size, IPL_DEPTH_8U, 3);
          cvResize(frame, tmp, CV_INTER_CUBIC);
          // Do some stuff with tmp
       }
    }
    cvReleaseCapture(&capture);
}

虽然这个没有泄漏：

int main()
{
    CvCapture* capture;
    IplImage* frame;
    IplImage* tmp;

    capture = cvCreateCameraCapture(0);
    while (1) {
       if (capture) {
          frame = cvQueryFrame(capture);
       }
       if (frame) {
          CvSize size = cvSize(100, 100);
          tmp = cvCreateImage(size, IPL_DEPTH_8U, 3);
          cvResize(frame, tmp, CV_INTER_CUBIC);
          // Do some stuff with tmp

          // release tmp:
          cvReleaseImage(&tmp);
       }
    }
    cvReleaseCapture(&capture);
}

你能试试最后一个例子吗？如果它确实泄漏，您可能确实遇到了错误的标头或链接库的问题。

Answer 2

我今天 [01/04/2015] 进行了检查，在当前的 wheezy/main 存储库中，opencv（gpu 除外）的开发包链接到 openCV 2.4.1。这里测试步骤：

安装包：

sudo apt-get install cmake build-essential libopencv-core-dev libcv-dev libcvaux-dev libhighgui-dev libopencv-calib3d-dev libopencv-contrib-dev libopencv-core-dev libopencv-dev libopencv-features2d-dev libopencv-flann-dev libopencv-highgui-dev libopencv-imgproc-dev libopencv-legacy-dev libopencv-ml-dev libopencv-objdetect-dev libopencv-video-dev

验证 openCv 库安装版本：

sudo ldconfig -v | grep opencv

结果：

libopencv_imgproc.so.2.4 -> libopencv_imgproc.so.2.4.1
libopencv_highgui.so.2.4 -> libopencv_highgui.so.2.4.1
libopencv_legacy.so.2.4 -> libopencv_legacy.so.2.4.1
libopencv_objdetect.so.2.4 -> libopencv_objdetect.so.2.4.1
libopencv_calib3d.so.2.4 -> libopencv_calib3d.so.2.4.1
libopencv_videostab.so.2.4 -> libopencv_videostab.so.2.4.1
libopencv_ml.so.2.4 -> libopencv_ml.so.2.4.1
libopencv_core.so.2.4 -> libopencv_core.so.2.4.1
libopencv_ts.so.2.4 -> libopencv_ts.so.2.4.1
libopencv_stitching.so.2.4 -> libopencv_stitching.so.2.4.1
libopencv_photo.so.2.4 -> libopencv_photo.so.2.4.1
libopencv_flann.so.2.4 -> libopencv_flann.so.2.4.1
libopencv_features2d.so.2.4 -> libopencv_features2d.so.2.4.1
libopencv_video.so.2.4 -> libopencv_video.so.2.4.1
ibopencv_contrib.so.2.4 -> libopencv_contrib.so.2.4.1

测试程序

#include <stdio.h>
#include <sys/time.h>
#include <sys/resource.h>
#include <unistd.h>
#include <errno.h>

#include "opencv/cxcore.h"
#include "opencv2/highgui/highgui_c.h"
#include "opencv2/imgproc/imgproc_c.h"

int main(int argc, char * const argv[])
{
    struct rusage usage;
    long max_resident_set_size = 0;
    long frame_no = 0;

    CvCapture* capture;
    IplImage*  frame;
    capture = cvCreateCameraCapture(0);

    if (!capture) {
        // error getting webcam
        return 1;
    }

    //  test 100 frames to check memory usage
    while (frame_no < 100) {
        frame = cvQueryFrame(capture);
        frame_no++;

        errno = 0;
        getrusage(RUSAGE_SELF, &usage);
        if (errno == EFAULT)
            printf("Error: EFAULT\n");
        else if (errno == EINVAL)
            printf("Error: EINVAL\n");
        else if (max_resident_set_size != usage.ru_maxrss) {

            printf("frame %ld maximum resident set size: %ld\n", frame_no, usage.ru_maxrss);
            printf("frame %ld maximum resident set size diff : %ld\n", frame_no, (usage.ru_maxrss - max_resident_set_size));

            max_resident_set_size = usage.ru_maxrss;
        }
    }

    cvReleaseCapture(&capture);
    return 0;
}

在 OpenCV 2.4 中使用上述代码没有内存问题。

我建议你卸载 openCV 2.3.1 包，更新系统并安装最新的并使用 openCV2 符号。

列出已安装的包：

sudo dpkg --get-selections | grep -v deinstall | grep cv

希望对您有所帮助。

Answer 3

经过大量测试，事实证明 OpenCv 2.3.1-11 在使用 pthreads 时有一些奇怪的行为。

如果我只是在 main() 的循环中使用以下内容，则没有问题。

int main()
{
    CvCapture* capture;
    IplImage* frame;
    IplImage* tmp;

    capture = cvCreateCameraCapture(0);
    while (1) {
       if (capture) {
          frame = cvQueryFrame(capture);
       }
       if (frame) {
          CvSize size = cvSize(100, 100);
          tmp = cvCreateImage(size, IPL_DEPTH_8U, 3);
          cvResize(frame, tmp, CV_INTER_CUBIC);
          // Do some stuff with tmp

          // release tmp:
          cvReleaseImage(&tmp);
       }
    }
    cvReleaseCapture(&capture);
}

如果我在pthread 中使用相同的循环，每次迭代都会导致至少 2MB 的内存丢失。但是，如果在pthread 中，我只调用capture = cvCreateCameraCapture(0) 和cvReleaseCapture(&capture) 一次，则问题不再存在。

此外，如果我在 main 中调用 cvCreateCameraCapture(0) 并将其分配给可从线程访问的东西（即：全局变量，或将其存储在上下文变量中，我在生成线程时将指针传递给线程)，我在 pthread 到 cvQueryFrame() 的每个调用中都会出现内存泄漏行为。

因此，简而言之，如果在多线程程序中使用 C API（我知道已弃用），有多种方法可以让您自食其果。谢谢大家的意见。