有人可以帮我找到我的 IBM 语音到文本代码中的错误/

Question

我正在使用 websockets 将请求发送到 IBM 的语音到文本 api，并且我收到一个持续的管道中断错误。 IBM Speech to text api 的文档说它可以占用 4mb 的帧，但我只能给它 70 kb 而不会破坏它。 https://www.ibm.com/watson/developercloud/doc/speech-to-text/websockets.html#WSopen 此外，如果我提供一个小于 70kb（5 秒）的文件，它的工作原理是不返回任何东西。

    import websocket
    from requests import get
    import user_info
    import json
    import time
    import threading

    api_token = "https://stream.watsonplatform.net/authorization/api/v1/token"
    s2t_url = "wss://stream.watsonplatform.net/speech-to-text/api/v1/recognize"
    s2t_model = 'es-ES_BroadbandModel'
    mb_chunk = 1024*50
    # https://pypi.python.org/pypi/websocket-clien*
    # https://www.ibm.com/watson/developercloud/doc/speech-to-text/websockets.html


    # -------
    # on_open
    # -------
    def on_open(ws):
        """
        Called by the websocet after it is
        opened and sends metadataabout the sound file
        """
        print("--------------WebSocket is open--------------")
        message = {
            'action': 'start',
            'content-type': 'audio/wav'
        }
        #def send_binary(*args):
        ws.send(json.dumps(message))
        i = 0
        with open("Deepak2_hwv4122_uncompressed.wav", "rb") as wav:
            # while True:
            piece = wav.read(mb_chunk)
            ws.send(piece)
            print(i)
            i+=1
            if not piece:
                #break
                pass
            wav.close()
            # ws.close()
        #t = threading.Thread(target=send_binary)
        #t.start()


# ----------
# on_message
# ----------
def on_message(ws, message):
    print("------------------MESSAGE------------------")
    print(message)


# --------
# on_error
# --------
def on_error(ws, error):
    print(error)
    print("------------------ERROR------------------")
# --------
# on_close
# --------
def on_close(ws):
    print("------------Connection is Closed-----------")
    ws.close()

# ----------------
# get_token
# ----------------
def get_token():
    """
    REST request to get the watson voice service API token
    """
    url = api_token + "?url=" + user_info.AUTH['url']
    print("URL: " + url)
    res = get(url, auth=(user_info.AUTH['username'], user_info.AUTH['password']))
    print('Auth Token: ' + res.text)
    return res.text


# ----
# main
# ----
if __name__ == "__main__":
    global ws_url
    cur_token = get_token()
    ws_url = s2t_url + '?watson-token=' + cur_token + '&model=' + s2t_model
    print("ws_uri: " + ws_url)

    # Start WebSocket Connection
    websocket.enableTrace(True)
    ws = websocket.WebSocketApp(ws_url, on_message=on_message, on_error=on_error, on_close=on_close)
    ws.on_open = on_open
    ws.run_forever()

我得到的错误是 [Errno 32] Broken pipe File "/home/dell/rahmi/env/lib/python3.5/site-packages/websocket/_app.py", 第 268 行，在 _callback 中 callback(self, *args) 文件“watson-test.py”，第 35 行，在 on_open ws.send(piece) 文件 "/home/dell/rahmi/env/lib/python3.5/site-packages/websocket/_app.py", 第 117 行，在发送中 如果不是 self.sock 或 self.sock.send(data, opcode) == 0: 文件 "/home/dell/rahmi/env/lib/python3.5/site-packages/websocket/_core.py", 第 234 行，在发送中 返回 self.send_frame(frame) 文件“/home/dell/rahmi/env/lib/python3.5/site-packages/websocket/_core.py”， 第 259 行，在 send_frame 中 l = self._send（数据）文件“/home/dell/rahmi/env/lib/python3.5/site-packages/websocket/_core.py”， 第 423 行，在 _send 返回发送（self.sock，数据）文件“/home/dell/rahmi/env/lib/python3.5/site-packages/websocket/_socket.py”， 第 116 行，在发送中 返回 sock.send(data) 文件“/usr/lib/python3.5/ssl.py”，第 861 行，在发送中 return self._sslobj.write(data) File "/usr/lib/python3.5/ssl.py", line 586, in write return self._sslobj.write(data)

Answer 1

我快速查看了您的代码，发现有一个缺失的部分，在 on_open 方法中推送所有音频后，您没有发出音频流结束的信号。您可以通过发送空二进制消息或带有字符串{'action': 'stop'} 的文本消息来表示音频结束，如下所述：https://www.ibm.com/watson/developercloud/doc/speech-to-text/websockets.html 我相信这就是您没有得到任何结果的原因。另外请确保在服务器回复最终结果之前不要关闭 websocket。

感谢Sayuri Mizuguchi 的回答，我其实是写了托管在https://github.com/watson-developer-cloud/speech-to-text-websockets-python 中的代码，这是一个通过websockets 与Watson STT 交互的简单示例。该项目正在此处集成到 Watson Python SDK 中：https://github.com/watson-developer-cloud/python-sdk

关于转换为base64，您只需要确保音频作为二进制消息发送，websocket 堆栈通常具有发送文本消息或二进制消息的能力。

Answer 2

我在使用 websockets 时也遇到了同样的问题。我真的推荐这个项目来做你正在尝试的事情。检查here。

您在发送音频文件之前是否转换了 base x64？

ws.send(sound, { binary: true, mask: true});

尝试在 IBM Developer 的这个项目中执行以下步骤

Check:

class WSInterfaceFactory(WebSocketClientFactory):

    def __init__(self, queue, summary, dirOutput, contentType, model,
                 url=None, headers=None, debug=None):

        WebSocketClientFactory.__init__(self, url=url, headers=headers)
        self.queue = queue
        self.summary = summary
        self.dirOutput = dirOutput
        self.contentType = contentType
        self.model = model
        self.queueProto = Queue.Queue()

        self.openHandshakeTimeout = 10
        self.closeHandshakeTimeout = 10

        # start the thread that takes care of ending the reactor so
        # the script can finish automatically (without ctrl+c)
        endingThread = threading.Thread(target=self.endReactor, args=())
        endingThread.daemon = True
        endingThread.start()