使用python识别屏幕上的元素答案

【问题标题】：Use python to identify elements at screen使用python识别屏幕上的元素
【发布时间】：2020-05-31 03:03:46
【问题描述】：

我想启动一个 python 项目来识别屏幕中的一些元素，例如正方形的大小或屏幕中具有某种颜色的所有元素，我什至不知道我应该从哪里开始。

例如，图表中高于某个值的所有顶点。

谁能给我一个北方？

【问题讨论】：

【解决方案1】：

如果您希望与浏览器中的元素进行交互，请查看Selenium。如果您想控制桌面本身，请查看Sikuli。

无论哪种情况，您都可以使用OpenCV 来识别元素并进行模板匹配。

编辑：在 OP 提供更多详细信息后，更多 cmets

如果您只是想识别图中的峰值，您可以使用 Sikuli 或PyScreenshot 定期截取显示的屏幕截图，然后使用 OpenCV 中的模板匹配（直接或使用 Sikuli）来获取屏幕截图中峰的坐标。图表中的水平线可能会影响模板匹配，但您可以使用各种参数来获得所需的结果。

【讨论】：