词边界的音频挖掘

Question

我打算做什么：

我想开发English accent（未经专业培训）。

执行摘要推理背后的一组公理：

以下内容故意过于简化，对此深表歉意。我尽量让问题简短。

第 1 部分：了解学习的工作原理。

目前我假设Broca's area 和Wernicke's area 必须知道语言，并且现有语音字母表的肌肉记忆将构建语音。口音只是随着时间的推移通过语音字母同化自然形成的。

我使用 Google 发现 speech shadowing 可以潜在地用于音标同化。另一方面，可以通过重复动作轻松训练肌肉记忆。这是最有效的，如果一个人是 23-24 岁并且他/她手上有很多无法解释的时间，因为失去注意力会显着降低有效的学习曲线梯度。这种procedural memory 大概可以优化为在memory with designed sleep pattern 中刷新。

第 2 部分：设计行为模式

• 寻找一位流利的演讲者，让我的口音听起来像。
• 区分目标重音音素和音素。
• 训练肌肉记忆以产生目标口音。

第 3 部分：找到一个流利的演讲者，我想听起来像他的口音。

Youtube 是一个强大的免费资源。示例音频，我很难挑选： Someone Like You - Adele (Cover) 高清。

我不介意，那是高音的女声。

第 4 部分：区分目标重音音素和音素。

这不是一项简单的任务 - 识别和判断语音电话是否正确。以及人类说出有形文字的正确程度。实际上它看起来很复杂，我不会费心让它自动化，只是使用IPA 作为基线。

这是上面示例音频的美国国际音标中第一首带有单词重音的诗篇：

无意侵犯版权。并且图像是使用upodn（替代：photransedit）创建的。

第 5 部分：训练肌肉记忆以产生目标口音。

虽然尝试模仿和存档同步很有趣，但我更喜欢构建一个工具，将单词提取为音频文件。所以我可以使用 winamp 或 ipod 循环播放我想要的单词。

我想，我可以为此使用 MS Expression Encoder。

问题

如果给定一个音频文件（例如 wav 格式，大小

主要目的是减少我会做的工作，如果这是手动完成的话。

Answer 1

检测单词边界是一项非常复杂的任务！我不知道您是否对此进行了更多研究，但请参阅 Saffran 等人 (1996)。 分词：分布线索的作用。 对于许多语言，还有许多语言生产的“语料库”，因此我不会使用新人，而是研究语言学文献中关于检测单词边界的工作。

Answer 2

首先，我将通过对其运行 FFT 将信号从时域转换为频域。这可能允许您将文本中的某些辅音与 fft 中的宽带噪声相匹配。这里的问题是您不是要进行完整的语音识别，而是要找到信号与文本的最佳匹配。 （我在大学时为突出显示的文档图像做了类似的事情——不需要使用 OCR，因为我已经有了文本）。我的猜测是，寻找幅度的下降不会对你有太大帮助，因为有些词会相互碰撞。

这是我第一次尝试的方法：

1. 分析文本/国际音标，找出以辅音开头的单词，这些单词会在频谱中形成易于识别的模式。
2. 从高阈值开始，检测模式实例。
3. 降低阈值，直到您获得正确数量的实例并且它们之间的相对距离与您对文本距离的估计相匹配。
4. （如果可能，请在此处获取用户对分割点的验证）
5. 这应该会为您提供一组有希望的简短短语和频谱块。
6. 使用另一种特征检测方法将这些块拆分为单词。
7. 继续直到只有一个单词。

我确信它可以被概括，但这就是我尝试的方式。