类似于 Sikuli 的自动化工具答案

【问题标题】：Automation tool similar to Sikuli类似于 Sikuli 的自动化工具
【发布时间】：2016-07-13 19:40:59
【问题描述】：

我真的很喜欢 Sikuli 中的功能，它允许您选择要单击的屏幕截图并指定要在该屏幕截图中单击的位置。例如，当有多个看起来相同的按钮时，仅截取按钮本身的屏幕截图不会剪切它，因为 Sikuli 无法区分。

其他一些自动化工具不允许您在屏幕截图中选择鼠标单击的位置，或者很难指定鼠标单击的位置。

所以我的问题是，Sikuli 是否还有其他具有此功能的软件工具？我正在寻找其他东西的原因是因为我不想完全依赖图像识别。我希望将 pywinauto 与 Sikuli 一起使用来做一些自动化，但那是不可能的。

【问题讨论】：

您能否详细说明您在使用Sikuli are时遇到的问题。也许有一种方法可以在不使用其他工具的情况下克服其中的一些问题。一般来说，您可能无法两全其美。 Sikuli 最大的优势在于允许您与不提供 API 的应用程序进行交互。另一方面，在某些情况下它可能有点不可靠。
这是我试图通过尽量减少对 Sikuli 的使用来解决的不可靠性问题。我已经在 Python 中使用 pywinauto.application 与对象交互进行了一些自动化操作，但遇到了我想要单击的某些对象不存在的问题，因此 Sikuli 是解决此问题的方法。我想要做的仍然是尽可能使用 Python，并且仅将 Sikuli 图像识别用于单击按钮等，而我无法使用 Python。这是否更好地解释了我的问题？
您需要哪些操作系统？允许礼让？如果仅限 Windows 的免费软件 AutoIt 可能会有所帮助，尽管它在 Python 世界之外。
现在只有 Windows 并且允许专有。在这一点上，我正在研究我能做的任何事情。如果可能的话，我宁愿坚持使用 Python，但这不是必需的。

【解决方案1】：

至少有一个：eggPlant 来自 TestPlant。

它是一个使用图像识别的自动化工具，并且

您可以通过设置 SearchRectangle 全局属性来搜索屏幕的一部分。

对于 Python 集成 Automa 会很好，它确实具有漂亮的图像识别功能，您可以让多个图像部分一起工作。不完全是您要问的，但它可能有用。

几率稍长一些，但AutoIt 也可能对您有所帮助。它与标准的 Windows GUI 对象交互，并具有非常稳定和易于使用的优点。它有一个小工具，您可以使用它来显示您要访问的屏幕对象的属性。没有学习曲线可言，但也没有图像识别或与 Python 的真正集成。

【讨论】：

【解决方案2】：

我们现在正在使用 gehrmann/PyGUIBot（python 和免费）：https://pyguibot.wordpress.com/

具有命令行界面和图形用户界面，可录制截屏视频，使用简单的图形编程语言。适用于 GUI 单元测试或用户交互脚本。

从未在 Windows 上使用过，只在 Ubuntu 或 Debian 上使用过，但它看起来像是一个跨平台工具。

【讨论】：