OpenCV - 用于边缘图（不是轮廓）的 approxPolyDP

Question

我已成功将方法 cv::approxPolyDP 应用于轮廓 (cv::findContours)，以便用更简单的多边形表示轮廓并隐式进行一些去噪。

我想在从 RGBD 相机（通常非常嘈杂）获取的边缘图上做同样的事情，但到目前为止没有太大的成功，我在网上找不到相关的例子。我需要这个的原因是，通过边缘图，人们还可以使用手指之间的边缘、手指遮挡产生的边缘或手掌中产生的边缘。

此方法是否适用于除等高线以外的一般边缘图？

谁能给我举个例子？

附上一些图片：

等高线的成功例子：

边缘图的问题案例：

很可能我以错误的方式绘制东西，但仅绘制该方法返回的像素表明最终结果中可能没有表示大区域（根据 epsilon 参数，这并没有太大变化）。

我还附上了一个深度图像，类似于我在上面描述的实验管道中使用的那些。这个深度图不是深度相机获取的，而是通过OpenGL读取gpu的深度缓冲区综合生成的。

仅供参考，这也是直接从深度相机获取的深度图像的边缘图（使用原始图像，未应用平滑等）

（从深度相机看到的手，手掌朝上，手指向手掌“合拢”）

Answer 1

approxPolyDP 的问题是由于 approxPolyDP 的输入格式。

说明

approxPolyDP 期望其输入是Points 的向量。这些点定义了将由approxPolyDP 处理的多边形曲线。曲线可以是开放的，也可以是封闭的，可以通过一个标志来控制。

列表中点的顺序很重要。就像手动绘制多边形一样，向量中的每个后续点都必须是多边形的下一个顶点，顺时针或逆时针。

如果点列表以光栅顺序存储（按 Y 排序，然后按 X 排序），则 point[k] 和 point[k+1] 不一定属于同一条曲线。这就是问题的原因。

OpenCV - How to extract edges form result of Canny Function? 中的插图解释了此问题。引用Mikhail：“Canny 不会将像素连接成链或段。”

---

Canny 生成的“光栅顺序”示意图。

---

approxPolyDP 所期望的“轮廓顺序”图示

---

需要什么

您需要的是“边缘像素链”列表。每个链必须包含彼此相邻的边缘像素，就像有人用铅笔勾勒出物体的轮廓，而铅笔尖不会离开纸。

这不是边缘检测方法返回的内容，例如Canny。需要进一步处理以将边缘图转换为相邻（连续）边缘像素链。

建议的解决方案

（1）使用二进制threshold代替边缘检测作为findContours的输入

如果存在将手与背景分开的阈值，并且该值适用于整只手（不仅仅是手的一部分），这将适用。

(2) 扫描边缘图，通过检查每个边缘像素的邻居，构建相邻像素列表。

这类似于连通分量算法，不同之处在于不是寻找一个 blob（您只需要知道每个像素的成员资格），而是尝试找到像素链，以便您可以分辨出前一个和下一个边缘像素沿着链条。

(3) 使用替代边缘检测算法，例如边缘绘制。

详情请见http://ceng.anadolu.edu.tr/cv/EdgeDrawing/

不幸的是，OpenCV 没有提供开箱即用的功能，因此您可能必须在其他地方找到实现。

---

选项 #1 的示例代码。

#include <stdint.h>
#include <iostream>
#include <vector>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

int main()
{
    Mat matInput = imread("~/Data/mA9EE.png", false);

    // ---- Preprocessing of depth map. (Optional.) ----

    GaussianBlur(matInput, matInput, cv::Size(9, 9), 4.0);

    // ---- Here, we use cv::threshold instead of cv::Canny as explained above ----

    Mat matEdge;

    //Canny(matInput, matEdge, 0.1, 1.0);

    threshold(matInput, matEdge, 192.0, 255.0, THRESH_BINARY_INV);

    // ---- Use findContours to find chains of consecutive edge pixels ----

    vector<vector<Point> > contours;
    findContours(matEdge, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);

    // ---- Code below is only used for visualizing the result. ----

    Mat matContour(matEdge.size(), CV_8UC1);

    for (size_t k = 0; k < contours.size(); ++k)
    {
        const vector<Point>& contour = contours[k];
        for (size_t k2 = 0; k2 < contour.size(); ++k2)
        {
            const Point& p = contour[k2];
            matContour.at<uint8_t>(p) = 255;
        }
    }

    imwrite("~/Data/output.png", matContour);
    cout << "Done!" << endl;
    return 0;
}