在桌面屏幕截图中查找徽标

Question

我需要开发一个桌面应用程序

1.) 具有不同应用程序徽标（背景透明）的列表，例如IE、Firefox、CHROME、PHOTOSHOP 等。

2.) 用户将截取桌面并保存图像。

3.) 现在我的应用程序需要搜索屏幕截图中的所有徽标，并判断所有徽标存在于哪些位置以及位置。

4.) 我使用了 OPENCV，它可以工作，但是当用户更改桌面背景并截取屏幕截图时，它无法正常工作，因为徽标的透明区域正在获取桌面背景内容。

有人可以提供解决方案或开源库，商业化来完成这项工作。

Answer 1

我喜欢misha's answer，我认为它应该适合你。但它不起作用，您可以在尝试匹配之前尝试用均匀分布的随机噪声替换参考徽标中的透明像素。这将使透明像素与任何匹配计算无关，因为无论桌面上的这些像素中有什么，它们都会匹配得很差。

Answer 2

使用互相关很容易做到这一点。

查看我对this question的回复。

基本上：

• 从桌面图像和每个图标的模板图像开始
• 对桌面图像和模板图像应用边缘检测（例如 Sobel）。
• 丢弃原始桌面图像和模板，您将不再需要它们，因为我们将使用边缘检测图像
• 对于每个模板
  • 照常进行模板匹配
  • 阈值的最大值。如果它高于阈值，则您在该位置有匹配项。否则，不匹配。

如果您的图标在桌面上的网格中对齐，您可以通过仅检查那些特定的网格位置来加快处理速度。

编辑

您还可以通过了解要搜索的图标来节省大量时间。如果您有权访问文件系统，则只需在与桌面对应的目录中查找 *.lnk 文件（或您可能感兴趣的任何其他扩展名）（不记得确切是什么，但对于 Windows7 是类似c:\users\misha\desktop)。这会告诉您桌面上有什么图标。这将允许您在进行模板匹配之前缩短模板候选列表。

Answer 3

我不熟悉您使用的工具，但我猜您必须：

a) 告诉您的程序在比较操作期间忽略图标图像中的透明像素。

或

b) 告诉您的程序将图标图像中的透明像素视为可以是任何颜色的“通配符”。