在 OpenCV 中将热图矩阵可视化到图像上

Question

我的 Python 程序中有一个 (float32) 热图矩阵，如下所示：

[[0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99919313 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  1.         0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]
 [0.99782705 0.99782705 0.99782705 0.99782705 0.99782705 0.99782705
  0.99782705 0.99782705 0.99782705]]

这是通过matplotlib.pyplot.matshow() 打印时热图的样子：

现在我想将该矩阵调整为图像的大小，并将其作为热图覆盖到该图像上。所以首先我加载另一个图像并将热图调整为图像大小：

img = cv2.imread(image_path)
heatmap = cv2.resize(heatmap, (img.shape[1], img.shape[0]))

调整热图矩阵大小后变成这样：

好的，到目前为止一切看起来都很好。现在，根据我在网上找到的各种资源，我想将该热图转换为uint8 RGB 格式，应用cv2.COLORMAP_JET 色图，并将其叠加到原始图像上：

heatmap = cv2.applyColorMap(np.uint8(255 * heatmap), cv2.COLORMAP_JET)
superimposed = heatmap * 0.4 + img

但这似乎不起作用。当我现在通过cv2.imshow('Heatmap', heatmap) 渲染热图时，它变成了一个普通的（红色）图像，它已经失去了原始热图中的所有“特征”。因此，我想要放置热图的图像也与以前保持一致（即渲染 superimposed 看起来与 img 完全相同）。

有什么我可能在这里遗漏的想法吗？

对于其他记录，我想实现类似于此的目标：
Grad-CAM implementation for Keras models

PS：Full working example here

Answer 1

如果是为了可视化，您需要在数字之间进行更大的分隔。你基本上有 3 个数字，当你缩放它们（乘以 255）时，它们基本上变成了 2 个数字（254 和 255）。涂上颜色的时候，两个数字几乎一样，真的很难分清哪个是哪个……

解决办法：

使用当前数字创建一个新比例。您可以使用 cv2.normalize 轻松做到这一点

import matplotlib.pyplot as plt
import numpy as np
import cv2

heatmap = np.array([
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99919313,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,1.00000000,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705],
    [0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705,0.99782705]
])

heatmap = cv2.resize(heatmap, (400,300))
plt.matshow(heatmap)
plt.show()
heatmapshow = None
heatmapshow = cv2.normalize(heatmap, heatmapshow, alpha=0, beta=255, norm_type=cv2.NORM_MINMAX, dtype=cv2.CV_8U)
heatmapshow = cv2.applyColorMap(heatmapshow, cv2.COLORMAP_JET)
cv2.imshow("Heatmap", heatmapshow)
cv2.waitKey(0)

你会得到：

注意：我只是在调整大小中输入了数字，因为我没有示例图像。

但是，这里需要考虑一件事。使用这个解决方案，最大的数字将是红色的，与它有多小无关。如果您需要一个新的固定缩放比例（例如 1. 是红色，0 是最小的数字），您需要手动执行以下操作：

newvalue= (maxNew-minNew)/(max-min)*(value-max)+maxNew

maxNew= 255 和 minNew=0 以及 max 和 min 将是您任意决定的值（例如 0.9978 和 1.0）