OpenCV - 确定手腕的位置

Question

我需要确定手腕在框架中的位置，其中包含人体的部分手臂和匹配的手。 到目前为止，我已经隔离了手和手臂，并且能够在其周围绘制多边形和船体曲线：

我通过简单的二元阈值和自动轮廓拟合来实现这个结果。

基于此我想提取手腕的位置。这需要适用于手/手腕的所有方向。

但是，对于使用 OpenCV 来说还很陌生，我不清楚确定/隔离手腕位置的最佳方法是什么。我对此有各种想法：

• 手臂部分相当直。也许在轮廓多边形上进行简单的线检测可能会完成获得腋下直线的工作。
• 不知何故将轮廓多边形分割成多个部分。基本上，可以公平地假设手腕的位置在两臂之间的距离最小，轮廓在腋下。有没有办法沿着多边形找到那个点，然后“切割”或“分割”多边形以获得两个？从那里我有一个多边形代表一个应该很容易使用的矩形。
• 使用一种方法，沿使用fitLine() 拟合的多边形的主轴进行迭代，测量多边形的两个相对点之间的距离，找到最短距离。

很遗憾，我缺乏在这里做出正确选择的经验 - 甚至无法想出更好的主意。

对于实现这一目标的任何想法和建议，我都将不胜感激。在使用 Haar 级联进行手部检测和跟踪以及基本身体部位匹配时，我可以找到很多有价值的研究材料。不幸的是，我找不到将这些技术应用于我的用例的方法。

这里有一些可以使用的原始资料（图片和视频）：（Google Drive Link！）：https://drive.google.com/drive/folders/1hU4hGw5dYtVrcXTq8TYWCWfcLWjT-ZJU?usp=sharing

Answer 1

方法：我利用了手臂侧的优势。直到碰到手为止，手臂的粗细几乎一样。

假设：我假设手臂将垂直进入屏幕进行编码。否则我的代码可能不起作用。我尝试了您共享的所有图像，并且它对所有人都正常工作。

我的步骤：

• 制作一种简单的分割方法，只获取图像中需要的部分
• 从手臂侧开始计算每列的非黑色像素。
• 在击中与先前列计数不同的列之前，您仍处于手臂一侧。当你击球时，你到达了手腕。

注意：我通过实验确定了阈值。

以下是结果和代码：

输入图像：

分割后：

算法后的输出：

代码：

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <iostream>
#include <cstdlib>

using namespace cv;
using namespace std;

int main() {

    Mat src, gray, blur_image, threshold_output;

    // take input image
    src = imread("/ur/image/directory/image_01.jpg", 1);

    // convert to grayscale
    cvtColor(src, gray, COLOR_BGR2GRAY);

    // add blurring to the input image
    medianBlur(gray,gray,9);

    // Apply a segmentation to arm
    for(int i=0; i<gray.rows; i++)
        for(int j=0;j<gray.cols; j++)
            if(gray.at<uchar>(Point(j,i))<110)
                gray.at<uchar>(Point(j,i)) = 0;

    //Creat a bgr mat to show the results clearly
    Mat copy_gray = gray;
    cvtColor(copy_gray,copy_gray,CV_GRAY2BGR);

    double sum = 0;
    int loop_cnt = 0,enter = 1;
    Point first,second;

    for(int j=gray.cols-1; j>=0; j--)
    {
        loop_cnt++;
        int counter = 0,ff=1,enter2 = 1;
        for(int i=0;i<gray.rows; i++)
        {
            if(gray.at<uchar>(Point(j,i))!=0 && enter)
            {
                if(ff)
                    first = Point(j,i);
                counter++;
                ff = 0;
            }
            if(!ff && gray.at<uchar>(Point(j,i))==0 && enter2)
            {
                second = Point(j,i);
                enter2 = 0;
            }
        }

        sum += (double)counter;
        double average = sum/(double)(loop_cnt);

        if(abs(average-counter)>20.0 && enter)
        {
            line(copy_gray,Point(j,0),Point(j,500),Scalar(0,255,0),5);
            enter = 0;
        }
    }

    int distance = norm(second-first)/2;
    circle(copy_gray,Point(first.x,first.y+distance),20,Scalar(0,0,255),5);

    imshow("Result",copy_gray);

    waitKey(0);
    return 0;
}