如何通过 Google Assistant 的 hotword.py 代码使用已识别的文本

Question

如何从 hotword.py 代码中获取语音文本并对识别的文本执行我自己的操作，而不是让 Google 对文本做出反应？

我已经在 Pi3 上安装了 GA，在出现一些 USB 麦克风/模拟音频设置的初始问题以及缺少某些 Python 文件之后，我开始了： When installing Google Assistant, I an error "...googlesamples.assistant' is a package and cannot be directly executed..." 然后我按照 Google 下一步的步骤：https://developers.google.com/assistant/sdk/prototype/getting-started-pi-python/run-sample 并创建了一个新项目“myga/”，其中包含一个 hotword.py 文件：

def process_event(event):
"""Pretty prints events.

Prints all events that occur with two spaces between each new
conversation and a single space between turns of a conversation.

Args:
    event(event.Event): The current event to process.
"""
if event.type == EventType.ON_CONVERSATION_TURN_STARTED:
    print()
    #GPIO.output(25,True)           see https://stackoverflow.com/questions/44219740/how-can-i-get-an-led-to-light-on-google-assistant-listening

if event.type == EventType.ON_RECOGNIZING_SPEECH_FINISHED:
    print("got some work to do here with the phrase or text spoken!")

print(event)

if (event.type == EventType.ON_CONVERSATION_TURN_FINISHED and
        event.args and not event.args['with_follow_on_turn']):
    print()
    #GPIO.output(25,False)          or also see https://blog.arevindh.com/2017/05/20/voice-activated-google-assistant-on-raspberry-pi-with-visual-feedback/

我希望代码对我认为的 ON_RECOGNIZING_SPEECH_FINISHED 事件做出反应，并且可以通过匹配简单的请求来执行我自己的操作，或者如果该短语不在我的列表中，则让 Google 处理它。我该怎么做？

最终我会问“OK Google，打开 BBC1”或“OK Google，播放我的播放列表”或“OK Google，显示流量”，hotword.py 会运行其他应用程序来完成这些任务。

谢谢，史蒂夫

Answer 1

有关所有可用方法，请参阅此处的文档 - https://developers.google.com/assistant/sdk/reference/library/python/

您可以使用 stop_conversation() 方法停止 Google 助理处理该请求并自行采取行动。

这是你需要在高层次上做的事情 -

1. 构建您自己想要处理的命令字典 - “打开 BBC1”、“播放我的播放列表”等。

2. 在EventType.ON_RECOGNIZING_SPEECH_FINISHED 事件上检查是否 识别的命令存在于您的字典中。

3. 如果识别的命令存在于您的字典中，请调用assistant.stop_conversation() 方法并自行处理该命令。如果不是什么都不做（让谷歌处理）

伪代码——

local_commands  = ['turnBBCOn', 'playLocalPlaylist']

function turnBBCOn() :
#handle locally


function playLocalPlaylist() :
#handle locally


def process_event(event):

    if event.type == EventType.ON_CONVERSATION_TURN_STARTED:
        print()

    if event.type == EventType.ON_RECOGNIZING_SPEECH_FINISHED:
        print(event.args['text'])
        if event.args['text'] in local_commands:
            assistant.stop_conversation()
            if(event.args['text']='turn BBC1 on')
                turnBBCOn()
            elif(event.args['text']='play my playlist')
                playLocalPlaylist()

    if (event.type == EventType.ON_CONVERSATION_TURN_FINISHED and
        event.args and not event.args['with_follow_on_turn']):
        print()

Answer 2

我最近将谷歌助手 SDK 与 Raspberry Pi 3 集成。我参考了下面的 git 存储库并创建了 action.py 和 actionbase.py 类可以处理我的自定义命令。我发现创建自己的自定义命令的方式非常简洁灵活。

您可以在 action.py 文件中注册您的自定义命令，如下所示

actor = actionbase.Actor()

actor.add_keyword(
    _('ip address'), SpeakShellCommandOutput(
        say, "ip -4 route get 1 | head -1 | cut -d' ' -f8",
        _('I do not have an ip address assigned to me.')))

return actor

action.py

在 action.py 中编写您的自定义代码

"""Speaks out the output of a shell command."""

def __init__(self, say, shell_command, failure_text):
    self.say = say
    self.shell_command = shell_command
    self.failure_text = failure_text

def run(self, voice_command):
    output = subprocess.check_output(self.shell_command, shell=True).strip()
    if output:
        self.say(output.decode('utf-8'))
    elif self.failure_text:
        self.say(self.failure_text)

您可以在此处获取完整的源代码。 https://github.com/aycgit/google-assistant-hotword

Answer 3

文本包含在事件参数中。通过调用 event.args 你可以使用文本。这是一个例子。

https://github.com/shivasiddharth/GassistPi/blob/master/src/main.py