MFCC算法的Python实现

Question

我有一个包含视频流的数据库。我想从图像和 MFCC 音频中计算 LBP 特征，并且对于视频中的每一帧我都有一些注释。注释内嵌视频帧和视频时间。因此，我想将我从注释中获得的时间映射到 mfcc 的结果。我知道 sample_rate = 44100

from python_speech_features import mfcc
from python_speech_features import logfbank
import scipy.io.wavfile as wav

audio_file = "sample.wav"
(rate,sig) = wav.read(audio_file)
mfcc_feat = mfcc(sig,rate)
print len(sig)        # 2130912
print len(mfcc_feat)  # 4831

首先，为什么 mfcc 长度的结果是 4831 以及如何在我以秒为单位的注释中映射它？视频总时长为 48 秒。并且除了 19-29 秒的窗口之外，视频的注释在任何地方都是 0。我如何从 mfcc 的结果中找到窗口 (19-29) 内的样本？

Answer 1

运行

 mfcc_feat.shape

你应该得到 (4831,13) 。 13 是您的 MFCC 长度（默认 numcep 是 13）。 4831是窗户。默认winstep 为10 毫秒，这与您的声音 文件持续时间相匹配。要到达对应于 19-29 秒的窗口，只需切片

mfcc_feat[1900:2900,:]

请记住，您不能收听 MFCC。它只代表0.025秒的音频片段（winlen参数的默认值）。

如果你想获得音频本身，它是

sig[time_beg_in_sec*rate:time_end_in_sec*rate]