Python：在窗口内按坐标单击

Question

我正在尝试编写的程序的目标是一个机器人，即使我没有选择窗口，它也可以点击和玩 Flash 游戏并在窗口网页内按键。我的问题与this 非常相似。我想知道的是如何使用 win32、selenium 和 PIL 来截取屏幕截图，分析屏幕截图，然后从 bot 中相应地单击并按下按钮。我浏览了 win32api 文档，并没有找到关于如何在后台窗口内单击的信息。

如果有人可以给以前做过这个的人提供一个链接，或者只是朝着正确的方向轻轻一点，那就太棒了！

Answer 1

pywinauto 更简单，但它可能无法识别 Flash 控件。代码应该看起来更短一点：

import pywinauto
app = pywinauto.Application().connect(path='process_name.exe')
app.MainDialog.click_input(coords=(953, 656))

检查哪些控件可见：

app.MainDialog.print_control_identifiers()

附：如果您使用 Python 3.x，this clone 与 Py3 兼容。

Answer 2

如果您的目标是检测屏幕上的图像并与之交互，您可能想看看 Sikuli。这正是它的作用。 Sikuli 将您在屏幕上看到的任何内容自动化。它使用图像识别来识别和控制 GUI 组件。当无法轻松访问 GUI 的内部或源代码时，它特别有用。更多信息here。