OpenSL es- 操作音频缓冲区队列

Question

我对 openssl 很陌生。我目前正在试验适用于 android 的 opensl es 的录制和播放功能。现在我有一个记录功能，它将数据存储在缓冲区队列中。然后我可以播放缓冲区队列。谁能解释我如何正确操作缓冲区队列中的数据？因此播放的声音与录音不同。

我目前的配置：

sampleFormat.pcmFormat_ = static_cast<uint16_t>(engine.bitsPerSample_);
//the buffer
uint8_t *buf_;

在处理缓冲区中的数据之前，我是否需要对其进行任何类型的转换或解码？

非常感谢您的帮助。

Answer 1

你的问题很笼统，我能做的就是告诉你应该如何使用它，以及如何处理从录音中获得的音频数据。

1) 正确设置 OpenSL_ES 引擎、录音机和播放器后（有很多示例），您已经为 OpenSL_ES 提供了一个缓冲区，用于从 mic 读取 pcm 数据，以及一个缓冲区，用于从您想为播放接收器提供的数据中读取数据，以及 2 个回调函数，这些函数将在读取数据的过程完成后调用（经过一段时间根据您的设置，如采样率、缓冲区大小、等），从由 OpenSL_ES 创建的线程调用记录回调，这取决于设备和配置可能是通常称为快速跟踪的高优先级线程（因此您不是在回调中处理线程，而是在 OpenSL_ES 的线程中工作并且必须小心不要在那里进行阻塞操作）。现在，如果您想要尽可能快地播放音频，请从回调内部进行音频信号处理，如果响应时间对您来说不太重要，您可以使用回调作为线程开始读取进程音频的信号缓冲区中的数据如您所愿。在这两种情况下，要播放音频，您必须将数据（已处理或未处理）排入队列以供播放过程（播放完成时也会调用播放器回调）。

2) 现在，如果你要处理音频，你需要应用过滤器，有很多种音频信号过滤器可以应用，你应该寻找动态过滤器，以防真实时间回放。 （一些过滤器需要大量数据才能开始处理，并且可能不适合实时处理，另一些过滤器经过优化以使用小块数据并动态调整输出）。因此，您需要按特定顺序制作一系列过滤器才能获得所需的内容。音频世界很大，您需要阅读大量内容才能开始了解音频处理。音频性能是另一回事，直接取决于您拥有的设备（硬、软）。

3) 对您获得的缓冲区的数据操作取决于您的处理器。例如字节序，一些处理器可能使用小字节序或大字节序，而您以大字节序格式获取数据。没有压缩，因此 pcm 数据已准备好进行处理。 （如果你想从中创建一个 wav，你只需要添加一个波头并在头的数据块中添加 pcm 数据，如果你想要像 mp3 这样的其他格式，你还需要根据压缩算法处理你的数据到您想要的格式并将该数据添加到正确的标题中）

另外通过OpenSL_ES播放数据需要解压音频数据，所以不能直接播放mp3，需要先解压成pcm数据

这是 OpenSL_ES 的基本功能，希望能回答您的问题。如果有什么不清楚的地方请告诉我。

PS：Android 表示现在使用新库 AAudio 可以更轻松地进行音频操作，该库有望完成与 OpenSL_ES 相同的任务，但复杂度只有其三分之一（可能存在一些延迟问题，一些人们遇到过，但我敢打赌，正如您所读，他们正在被修复）