如何在 Android 上使用 pocketsphinx 添加音素识别

Question

我正在开展一个关于 Cued Speech 的项目（这是一种视觉系统，用于与失聪或听力障碍的人进行交流）。它是一个基于音素的系统，通过在嘴巴附近的不同位置（代表元音）使用少量的手形（称为提示）（代表辅音），作为语音阅读的补充，使传统口语变得易于理解。

我已经按照关于音素识别 (pocketsphinx_continuous)、pocketsphinx on android 的教程进行了操作，它正在工作。 我现在在 Android 上工作，但这个项目的最终目标是让它在 Google glass 上工作。 最好的情况是在设备上写下语音（更接近实时）和 3D 化身，这将根据识别的音素再现正确的手部配置和嘴唇运动。 （这就是为什么我需要使用音素而不是单词本身）

我阅读了http://cmusphinx.sourceforge.net/wiki/phonemerecognition，但我很困惑如何为法语音素创建自己的“文件”以使其在 Android 上运行。

步骤是什么？我应该创建什么样的文件？

换句话说，是否有可能在带有语音输入的Android上与音素具有相同的pocketsphinx_continuous结果？

希望你能指导我！

纪尧姆

Answer 1

最新的pocketsphinx 演示包括通过“电话”搜索激活的语音识别模式，详情请参阅源代码：

https://github.com/cmusphinx/pocketsphinx-android-demo

要将其与法语一起使用，您需要使用法语声学模型对其进行更新：

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20F0%20Broadcast%20News%20Acoustic%20Model/lium_french_f0.tar.gz/download

并使用法语语音语言模型：

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20Language%20Model/fr-phone.lm.dmp/download

像这样：

    recognizer = defaultSetup()
            .setAcousticModel(new File(modelsDir, "hmm/french");
            .setBoolean("-allphone_ci", true)
            .getRecognizer();
    // Phonetic search
    File phoneticModel = new File(modelsDir, "phone/fr-phone.lm.dmp");
    recognizer.addAllphoneSearch(PHONE_SEARCH, phoneticModel);

我怀疑它在 Glass 上能否正常工作，但它似乎不是很强大的设备。