如何使用 Java Robot 和 Swing 按钮控制其他 (Windows) 应用程序中的上下文菜单

Question

我用 Java 编写了一个扩展的屏幕键盘 (OSK)。这适用于残障人士，需要能够执行标准键盘可以执行的所有操作。我注意到不起作用的一件事是 上下文菜单 - 在（大多数）Windows 程序中。我希望我的 OSK 用户能够单击“上下文菜单”键（通常在标准键盘上的右 Ctrl 旁边）并使用箭头键导航该菜单。上下文菜单看起来很好，但是当我点击我的框架（按箭头键）时，上下文菜单消失了。

有人对如何实现这一点有任何想法（我认为可能需要相当可怕的“黑客”）？我很确定上下文正在消失，因为在屏幕上的其他地方发生了鼠标单击（当您需要实际单击某些东西时很难解决这个问题！）。

下面是一个测试应用。我可以使用它成功地在 NetBeans 中的上下文菜单中向下导航，但不能在我尝试过的任何其他应用程序（例如 Windows 资源管理器）中导航。

import java.awt.Robot;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.awt.event.KeyEvent;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JPanel;
import javax.swing.WindowConstants;

public class RobotContextMenuTest extends JFrame implements ActionListener
{
    Robot R;
    JPanel JP;
    JButton JBmenu, JBdown;

    public RobotContextMenuTest()
    {
        try
        {
            R = new Robot();
        }
        catch(Exception e)
        {
            e.printStackTrace();
        }

        JP = new JPanel();
        getContentPane().add(JP);

        JBmenu = new JButton("Menu");
        JBmenu.addActionListener(this);
        JP.add(JBmenu);

        JBdown = new JButton("Down");
        JBdown.addActionListener(this);
        JP.add(JBdown);

        setFocusableWindowState(false);
        setAlwaysOnTop(true);
        setSize(200,80);
        setDefaultCloseOperation(WindowConstants.EXIT_ON_CLOSE);
        setVisible(true);
    }
    public static void main(String args[])
    {
        new RobotContextMenuTest();
    }

    public void actionPerformed(ActionEvent e)
    {
        if(e.getActionCommand().equals("Menu"))
        {
            R.keyPress(KeyEvent.VK_CONTEXT_MENU);
            R.keyRelease(KeyEvent.VK_CONTEXT_MENU);
        }
        else if(e.getActionCommand().equals("Down"))
        {
            R.keyPress(KeyEvent.VK_DOWN);
            R.keyRelease(KeyEvent.VK_DOWN);
        }
    }
}

最后，这是我尝试过的：

• 在按钮上使用 MouseListener 而不是 ActionListener，然后“使用” MouseEvent，希望其他应用程序不会注册它并隐藏上下文菜单。
• 我制作了一个线程测试应用程序，它能够显示任何上下文菜单并自动向下扫描（每秒一次），但这并不能真正解决我的问题！我希望通过用户的鼠标点击来控制上下文菜单导航。
• 我尝试使用 JNativeHook 作为捕获鼠标点击的替代方法，但结果是一样的。

很抱歉这个冗长的问题，但这是一个相当复杂的问题！顺便说一句，标准的 Windows 7 OSK 也不能这样做，但 WiViK 可以。谢谢。

Answer 1

在朋友的大力帮助下终于破解了这个问题（感谢 Chris Gregan！）。经过多次失败的尝试，答案相对简单。我使用 JNA 和 Windows API 为低级鼠标事件创建了一个挂钩。这一切都通过给定here in an answer by 'prunge' 的 2 个示例类进行了描述。注意：我必须包含 jna 版本 3.4.0 和 jna 平台版本 3.4.0 的 jars（这些 jars 的较新版本会导致错误！）。

使用上面链接的 MouseHook，您可以通过从 LowLevelMouseProc 回调返回 -1 来防止低级事件传播（到达其他应用程序）。

这是我在 MouseHook 的回调方法中添加的一个 sn-p，用于拦截/抑制鼠标左键按下（从而防止上下文菜单消失！）：

if(nCode >= 0 && wParam.intValue() == WinUserX.WM_LBUTTONDOWN)
    return new LRESULT(-1);

再次感谢 Alex Barker 抽出时间来研究这个问题并为我指明 JNA 和 Windows API 的方向。

Answer 2

• 在按钮上使用 MouseListener 而不是 ActionListener，然后 '消耗' MouseEvent，希望其他应用程序 不会注册它并隐藏上下文菜单。

目前这对您不起作用，因为在 Java 中使用事件只会影响您的应用程序，它不能阻止事件在本机系统上传播。 JNativeHook 1.2 可能有一个未记录的方法允许您在 Windows 上执行此操作，尽管我不确定它是否真的能解决您的问题。如果您在本机系统上使用单击事件，jvm 可能不会收到 osk 按钮上的单击事件以发送向下箭头事件。在您需要使用本机事件之前，无法检测是否单击了 java 按钮。换句话说，您将调用消费方法的 NativeInputEvent 可能会在 Java AWT InputEvent 之前交付。请参阅https://code.google.com/p/jnativehook/issues/detail?id=22 了解更多信息。

我现在能想到的唯一好的解决方案是使用 JNA 调用 Windows API 并获取上下文菜单句柄然后直接遍历它。有可用的 API 来做这种事情，我只是不记得它们是什么。也许从http://msdn.microsoft.com/en-us/library/windows/desktop/ff468865(v=vs.85).aspx 开始，看看你是否可以创建一个小测试程序来操作菜单。

* 小更新： 再谷歌搜索后，我找到了following post，它几乎概述了如何用 C++ 做到这一点。将其移植到 JNA 应该相当简单。