OpenCV 文本框检测

Question

我正在为 Gui 自动化测试编写一个工具。 通过指定一个文本字符串，我想得到它在当前屏幕上最近的文本框的坐标。

函数的签名应该是这样的：

Point GetNearestTextBoxPosition(string textOnLabel)

我已经设法得到textOnLabel的给定字符串的坐标，所以我只需要实现这个函数：

Point GetNearestTextBoxPosition(Point textLabelPosition)

我想使用计算机视觉技术（例如矩形检测）来实现此功能。有谁能告诉我如何使用 OpenCV 实现这一目标？

Answer 1

您可以非常轻松地检测带有Hough Transforms 的矩形。

也就是说，您确定计算机视觉方法合适吗？

如果您的 GUI 是 Web，您可以使用 Watir 或 Selenium 等库在 DOM 级别进行驱动。如果您的 GUI 是本机应用程序，则也有用于操作它们的控件。

Answer 2

假设您只有相关屏幕的位图图像，我建议使用直方图来识别屏幕上文本的大致位置，然后在这些区域内使用 OCR 来确定文本。如果您找到与您正在搜索的字符串匹配的文本，那么您可以使用一个简单的水平和垂直渐变测试从文本的边界来找到包含框（假设它具有不同颜色的边框或背景颜色)。

如果没有看到示例输入，很难比这更具体。