使用 FFT 和多项式插值改变人类语音的旋律

Question

我正在尝试执行以下操作：

1. 提取我提出问题的旋律（单词“Hey?”录制到 wav) 所以我得到了一个旋律模式，我可以将它应用到任何其他的 录制/合成的语音（基本上是 F0 如何随时间变化）。
2. 使用多项式插值（拉格朗日？），所以我得到一个描述旋律的函数（当然是近似的）。
3. 将该函数应用于另一个录制的语音样本。 （例如，单词“Hey.”，因此它被转换为一个问题“Hey?”，或者将句子的结尾转换为听起来像一个问题[例如。“可以吗。" => "可以吗？"])。瞧，就是这样。

我做了什么？我在哪里？ 首先，我深入研究了 fft 和信号处理（基础）背后的数学。我想以编程方式进行，所以我决定使用 python。

我对整个“Hey?”语音样本进行了fft，得到了频域数据（请不要介意y轴单位，我没有对其进行归一化）

到目前为止一切顺利。然后我决定将我的信号分成多个块，以便获得更清晰的频率信息 - 峰值等 - 这是一个盲目的尝试，我试图掌握操纵频率和分析音频数据的想法。然而，它让我无处可去，至少没有朝着我想要的方向发展。

现在，如果我获取这些峰值，从中得到一个插值函数，并将该函数应用于另一个语音样本（语音样本的一部分，当然也是 ffted）并执行反 fft，我 会没有得到我想要的，对吧？ 我只会改变幅度，这样它就不会影响旋律本身（我想是的）。

然后我使用 librosa 中的 spec 和 pyin 方法来提取真正的 F0-in-time - 旋律问问题“嘿？”。正如我们所料，我们可以清楚地看到频率值的增加：

一个非问题的陈述看起来像这样 - 假设它是不变的。

这同样适用于较长的语音样本：

现在，我假设我有块来构建我的算法/流程，但我仍然不知道如何组装它们，因为我对引擎盖下发生的事情的理解存在一些空白。

我认为我需要找到一种方法将 F0 时间曲线从频谱图映射到“纯”FFT 数据，从中获取插值函数，然后将该函数应用于另一个语音样本。

是否有任何优雅（不优雅也可以）的方法来做到这一点？我需要指出正确的方向，因为我能感觉到我已经接近但我基本上被卡住了。

上述图表背后的代码仅取自 librosa 文档和其他 stackoverflow 问题，它只是草稿/POC，所以请不要评论样式，如果可以的话：)

fft 分块：

import numpy as np
import matplotlib.pyplot as plt
from scipy.io import wavfile
import os

file = os.path.join("dir", "hej_n_nat.wav")
fs, signal = wavfile.read(file)

CHUNK = 1024

afft = np.abs(np.fft.fft(signal[0:CHUNK]))
freqs = np.linspace(0, fs, CHUNK)[0:int(fs / 2)]
spectrogram_chunk = freqs / np.amax(freqs * 1.0)

# Plot spectral analysis
plt.plot(freqs[0:250], afft[0:250])
plt.show()

频谱图：

import librosa.display
import numpy as np
import matplotlib.pyplot as plt
import os

file = os.path.join("/path/to/dir", "hej_n_nat.wav")
y, sr = librosa.load(file, sr=44100)
f0, voiced_flag, voiced_probs = librosa.pyin(y, fmin=librosa.note_to_hz('C2'), fmax=librosa.note_to_hz('C7'))


times = librosa.times_like(f0)

D = librosa.amplitude_to_db(np.abs(librosa.stft(y)), ref=np.max)

fig, ax = plt.subplots()

img = librosa.display.specshow(D, x_axis='time', y_axis='log', ax=ax)

ax.set(title='pYIN fundamental frequency estimation')

fig.colorbar(img, ax=ax, format="%+2.f dB")

ax.plot(times, f0, label='f0', color='cyan', linewidth=2)

ax.legend(loc='upper right')
plt.show()

非常感谢提示、问题和 cmets。

Answer 1

问题是我不知道如何修改基频（F0）。修改它的意思是修改 F0 及其谐波。

所讨论的频谱图显示了特定时间点的频率以及特定频率点的功率 (dB)。 因为我知道哪个时间箱包含旋律中的哪个频率（下面的绿线）......

....我需要计算一个表示该绿线的函数，以便将其应用于其他语音样本。

所以我需要使用一些以样本 F0 函数点为参数的插值方法。

需要记住多项式的次数应该等于点的数量。不幸的是，该示例没有那个，但是对于原型来说效果还是可以的。

def _get_bin_nr(val, bins):
    the_bin_no = np.nan
    for b in range(0, bins.size - 1):
        if bins[b] <= val < bins[b + 1]:
            the_bin_no = b
        elif val > bins[bins.size - 1]:
            the_bin_no = bins.size - 1
    return the_bin_no

def calculate_pattern_poly_coeff(file_name):
y_source, sr_source = librosa.load(os.path.join(ROOT_DIR, file_name), sr=sr)
f0_source, voiced_flag, voiced_probs = librosa.pyin(y_source, fmin=librosa.note_to_hz('C2'),
                                                    fmax=librosa.note_to_hz('C7'), pad_mode='constant',
                                                    center=True, frame_length=4096, hop_length=512, sr=sr_source)
all_freq_bins = librosa.core.fft_frequencies(sr=sr, n_fft=n_fft)
f0_freq_bins = list(filter(lambda x: np.isfinite(x), map(lambda val: _get_bin_nr(val, all_freq_bins), f0_source)))

return np.polynomial.polynomial.polyfit(np.arange(0, len(f0_freq_bins), 1), f0_freq_bins, 3)

def calculate_pattern_poly_func(coefficients):
    return np.poly1d(coefficients)

calculate_pattern_poly_coeff 方法计算多项式系数。

使用 pythons poly1d lib 我可以计算可以修改语音的函数。怎么做？ 我只需要在某个时间点垂直向上或向下移动所有值。 例如，我想将时间 bin 0,75 秒的所有频率向上移动 3 次 -> 这意味着频率将增加，此时的旋律听起来会更高。

代码：

def transform(sentence_audio_sample, mode=None, show_spectrograms=False, frames_from_end_to_transform=12):
# cutting out silence
y_trimmed, idx = librosa.effects.trim(sentence_audio_sample, top_db=60, frame_length=256, hop_length=64)

stft_original = librosa.stft(y_trimmed, hop_length=hop_length, pad_mode='constant', center=True)

stft_original_roll = stft_original.copy()
rolled = stft_original_roll.copy()

source_frames_count = np.shape(stft_original_roll)[1]
sentence_ending_first_frame = source_frames_count - frames_from_end_to_transform
sentence_len = np.shape(stft_original_roll)[1]

for i in range(sentence_ending_first_frame + 1, sentence_len):
    if mode == 'question':
        by = int(_question_pattern(i) / 500)
    elif mode == 'exclamation':
        by = int(_exclamation_pattern(i) / 500)
    else:
        by = 0
    rolled = _roll_column(rolled, i, by)

transformed_data = librosa.istft(rolled, hop_length=hop_length, center=True)

def _roll_column(two_d_array, column, shift): two_d_array[:, column] = np.roll(two_d_array[:, column], shift) 返回两个_d_array

在这种情况下，我只是参考某个时间段来向上或向下滚动频率。

这需要完善，因为它没有考虑转换后样本的实际状态。它只是根据前面使用多项式函数计算机计算的因子向上/向下滚动。

您可以在github查看我的项目的完整代码，“音频”包包含上述模式计算器和音频变换算法。

如果有不清楚的地方，请随时询问:)