以编程方式增加音频样本数组的音高

Question

音频计算界的好心人，您好，

我有一组代表录音的样本。假设它在 44100Hz 时为 5 秒。我将如何以更高的音调回放这个？是否可以动态增加和减少音高？就像让音高慢慢增加到两倍速度，然后再降下来。

换句话说，我想录制并播放它，就好像它正在被 d.j '刮擦'。

始终欢迎使用伪代码。我会用 C 来写这个。

谢谢，

---

编辑 1

请允许我澄清我的意图。我想将播放保持在 44100Hz，因此我需要在播放前处理样本。这也是因为我想将音高增加的音频与以正常速率运行的音频混合。

以另一种方式表达，也许我需要以某种方式在相同数量的样本上缩小音频？那样播放的时候声音会更快？

---

编辑 2

另外，我想自己做这件事。请不要使用库（除非您觉得我可以通过代码挑选并找到有趣的东西）。

---

编辑 3

一段用 C 编写的示例代码，它接受 2 个参数（样本数组和音高因子），然后返回一个新音频数组，这太棒了！

---

PS 我已经开始赏金不是因为我认为已经给出的答案是无效的。我只是认为获得有关该主题的更多反馈会很好。

---

---

赏金奖

老实说，我希望我可以将赏金分配给几个不同的答案，因为它们有很多我认为非常有帮助的。特别感谢 Daniel 向我传递了一些代码，以及 AShelly 和 Hotpaw2 提供了如此详细的回复。

虽然我最终使用了 datageist 引用的 another SO question 的答案，但最终还是将奖项授予了他。

再次感谢大家！

Answer 1

如果您想轻松完成此操作，请参阅 AShelly 的建议[编辑：事实上，无论如何，请先尝试]。如果你需要好的质量，你基本上需要一个phase vocoder。

相位声码器的基本思想是找到声音所包含的频率，根据需要更改这些频率并重新合成声音。所以一个残酷的简化是：

1. 运行 FFT
2. 按一个因子更改所有频率
3. 运行逆 FFT

如果您要自己实现此功能，您绝对应该阅读a thorough explanation of how a phase vocoder works。该算法确实需要比上面的三步简化更多的考虑。

当然，ready-made 实现 exist，但从我收集的问题来看，你想自己做这件事。

Answer 2

一种方法是在原始波形中保留一个浮点索引，并将插值样本混合到输出波形中。

//Simulate scratching of `inwave`: 
// `rate` is the speedup/slowdown factor. 
// result mixed into `outwave`
// "Sample" is a typedef for the raw audio type.
void ScratchMix(Sample* outwave, Sample* inwave, float rate)
{
   float index = 0;
   while (index < inputLen)
   {
      int i = (int)index;          
      float frac = index-i;      //will be between 0 and 1
      Sample s1 = inwave[i];
      Sample s2 = inwave[i+1];
      *outwave++ += s1 + (s2-s1)*frac;   //do clipping here if needed
      index+=rate;
   }

}

如果您想即时更改rate，您也可以这样做。

如果这会在 rate > 1 时产生噪声伪影，请尝试使用此技术替换 *outwave++ += s1 + (s2-s1)*frac; (from this question)

*outwave++ = InterpolateHermite4pt3oX(inwave+i-1,frac);

在哪里

public static float InterpolateHermite4pt3oX(Sample* x, float t)
{
    float c0 = x[1];
    float c1 = .5F * (x[2] - x[0]);
    float c2 = x[0] - (2.5F * x[1]) + (2 * x[2]) - (.5F * x[3]);
    float c3 = (.5F * (x[3] - x[0])) + (1.5F * (x[1] - x[2]));
    return (((((c3 * t) + c2) * t) + c1) * t) + c0;
}

---

在“Windows Startup.wav”中使用系数为 1.1 的线性插值技术的示例。原版在上，加速版在下：

它可能在数学上并不完美，但听起来应该，并且应该可以很好地满足 OP 的需求..

Answer 3

是的，这是可能的。

但这不是一小段伪代码。您要求的是时间音高修改算法，这是相当大且复杂的 DSP 代码量，以获得不错的结果。

这是Time Pitch stretching overview from DSP Dimensions。您也可以 Google 搜索相位声码器算法。

添加：

如果您想“从头开始”，就像 DJ 在物理转盘上使用 LP 所做的那样，您不需要修改时间音高。刮擦会以相同的量改变音高和演奏速度（不是独立的，因为需要修改时间音高）。

结果数组的长度不会相同，但会随着俯仰/速度的变化而变短或变长。

您可以更改音高，并以相同的比率使声音播放更快或更慢，只需使用适当过滤的插值对信号进行重新采样即可。只需通过您所需的速率变化通过浮点加法移动每个采样点，而不是 1.0，然后在该点过滤和插值数据。使用窗口 Sinc 插值内核进行插值，低通滤波器转换频率低于原始和插值局部采样率的较低值，将工作得相当好。在网上搜索“windowed Sinc interpolation”会返回很多合适的结果。

您需要一种包含低通滤波器的插值方法，否则您会听到可怕的混叠噪声。 （如果您的原始声音文件已经被严重低通滤波了 10 倍或更长时间，则可能是例外情况。）

Answer 4

看看 Nosredna 对这个（非常相似的）SO 问题的回答中的“大象”论文： How do you do bicubic (or other non-linear) interpolation of re-sampled audio data?

从第 37 页开始提供示例实现，作为参考，AShelly 的答案对应于线性插值（在同一页上）。稍作调整，论文中的任何其他公式都可以插入到该框架中。

要评估给定插值方法的质量（并了解使用“更便宜”方案的潜在问题），请查看此页面：

http://www.discodsp.com/highlife/aliasing/

对于比您可能想要处理的更多理论（使用源代码），这也是一个很好的参考：

https://ccrma.stanford.edu/~jos/resample/

Answer 5

This 帮助我进行了重新采样，这与您需要从另一侧查看的内容相同。

如果找不到代码，请联系我，我有一个很好的 C 例程。

Answer 6

降低和提高音高就像以低于或高于 44.1kHz 的速率播放样本一样简单。这将产生更慢/更快的录音声音，但您需要添加真实录音的“刮擦”。