用于音频信号/流处理的 Apache Beam

Question

我正在研究类语音识别，从而处理音频信号，即对原始音频信号应用一系列变换和数字信号处理 (DSP) 技术，以获得有价值的表示，然后将其输入机器学习算法。

我的代码库完全用 Matlab 编写，仅适用于有限（有界）信号。我计划迁移到一个可以处理有限和无限（流）音频信号的解决方案，最好是在 python 中（主要用于机器学习和音频信号处理中的第三方库可用性）。

经过一些研究，我发现 Apache Beam 非常适合我的情况，但是，python SDK 中似乎没有某些功能，比如对我来说非常重要的窗口概念，两者都适用于有界和无限信号（通常，我的代码处理 32 毫秒的帧/窗口）。

所以，我正在寻求建议：

• Apache Beam（python SDK）对音频信号的针对性 处理；
• 如何解决我刚才提到的限制；
• 在我的情况下还有其他选择吗？

Answer 1

首先，一般来说，我会避免使用 Python 进行繁重的 DSP：与 C/C++ 相比，这将不可避免地导致性能下降。

现在我对 Apache Beam 了解不多，但它似乎根本不适合音频信号处理，而是适合处理大量文本数据。实际上，我在他们的网站上找不到任何提及“音频”这个词......

那么，从这里到哪里去呢？

归根结底，您的程序可能要用 C/C++ 编写。例如，您可以使用：

• Matlab Coder，它允许您在 C/C++ 中转换 Matlab 代码。不确定性能以及它与最终结果的接近程度。
• PortAudio，这是一个比较低级的音频库，一定能让你做出你想要的。
• 其他库

您也可以尝试混合使用 Matlab Coder 和 PortAudio：使用 Matlab Coder 转换 C/C++ 中的特定算法和将它们集成到 PortAudio 为您提供的框架中。

PortAudio的基本原理是：

• 它独立于平台并且是开源的
• 您定义了一个回调函数，该函数将在您必须处理音频缓冲区时调用。如果您处理一个文件，它将被分成小块，用作音频缓冲区。如果您使用实时流，您从“外部世界”接收的每个缓冲区都将发送到此回调函数。