OpenCV：如何可视化深度图像

Question

我正在使用一个数据集，其中包含图像，其中每个像素都是一个 16 位无符号整数，以毫米为单位存储该像素的深度值。我试图通过执行以下操作将其可视化为灰度深度图像：

cv::Mat depthImage; 
depthImage = cv::imread("coffee_mug_1_1_1_depthcrop.png", CV_LOAD_IMAGE_ANYDEPTH | CV_LOAD_IMAGE_ANYCOLOR ); // Read the file 
depthImage.convertTo(depthImage, CV_32F); // convert the image data to float type   
namedWindow("window");
float max = 0;
for(int i = 0; i < depthImage.rows; i++){
    for(int j = 0; j < depthImage.cols; j++){
        if(depthImage.at<float>(i,j) > max){
            max = depthImage.at<float>(i,j);
        }
    }   
}
cout << max << endl;


float divisor = max / 255.0;
cout << divisor << endl;
for(int i = 0; i < depthImage.rows; i++){
    for(int j = 0; j < depthImage.cols; j++){
        cout << depthImage.at<float>(i,j) << ", ";
        max = depthImage.at<float>(i,j) /= divisor;
        cout << depthImage.at<float>(i,j) << endl;
    }   
}


imshow("window", depthImage);
waitKey(0);

但是，它只显示两种颜色，这是因为所有值都非常接近，即在 150-175 的范围内 + 显示为黑色的小值（见下文）。

有没有办法对这些数据进行归一化，使其显示各种灰度以突出这些小的深度差异？

Answer 1

根据documentation，函数imshow可以用于多种图像类型。它支持 16 位无符号图像，因此您可以使用显示图像

cv::Mat map = cv::imread("image", CV_LOAD_IMAGE_ANYCOLOR | CV_LOAD_IMAGE_ANYDEPTH);
cv::imshow("window", map);

在这种情况下，图像的取值范围从 [0, 255*256] 范围映射到 [0, 255] 范围。

如果您的图像仅包含此范围的较低部分的值，您将观察到模糊的图像。如果你想使用完整的显示范围（从黑色到白色），你应该调整图像以覆盖预期的动态范围，一种方法是

double min;
double max;
cv::minMaxIdx(map, &min, &max);
cv::Mat adjMap;
cv::convertScaleAbs(map, adjMap, 255 / max);
cv::imshow("Out", adjMap);

Answer 2

添加到 samg 的答案，您可以扩大显示图像的范围。

double min;
double max;
cv::minMaxIdx(map, &min, &max);
cv::Mat adjMap;
// expand your range to 0..255. Similar to histEq();
map.convertTo(adjMap,CV_8UC1, 255 / (max-min), -min); 

// this is great. It converts your grayscale image into a tone-mapped one, 
// much more pleasing for the eye
// function is found in contrib module, so include contrib.hpp 
// and link accordingly
cv::Mat falseColorsMap;
applyColorMap(adjMap, falseColorsMap, cv::COLORMAP_AUTUMN);

cv::imshow("Out", falseColorsMap);

结果应该类似于下面的结果

Answer 3

如果imshow 输入具有浮点数据类型，则该函数假定像素值在 [0; 1]范围。结果所有大于 1 的值都显示为白色。

因此，您无需将您的 divisor 除以 255。

Answer 4

添加到 Sammy 的答案，如果原始范围颜色是 [-min,max] 并且您想要执行直方图均衡并显示深度颜色，代码应如下所示：

double min;
double max;
cv::minMaxIdx(map, &min, &max);
cv::Mat adjMap;
// Histogram Equalization
float scale = 255 / (max-min);
map.convertTo(adjMap,CV_8UC1, scale, -min*scale); 

// this is great. It converts your grayscale image into a tone-mapped one, 
// much more pleasing for the eye
// function is found in contrib module, so include contrib.hpp 
// and link accordingly
cv::Mat falseColorsMap;
applyColorMap(adjMap, falseColorsMap, cv::COLORMAP_AUTUMN);

cv::imshow("Out", falseColorsMap);