【发布时间】：2014-03-15 06:59:57
【问题描述】：
我正在尝试实现
AudioRecord (MIC) ->
PCM -> AAC Encoder
AAC -> PCM Decode
-> AudioTrack?? (SPEAKER)
在 Android 4.1+ (API16) 上使用 MediaCodec。
首先，我成功（但不确定是否优化）通过MediaCodec 实现了PCM -> AAC Encoder，如下所示
private boolean setEncoder(int rate)
{
encoder = MediaCodec.createEncoderByType("audio/mp4a-latm");
MediaFormat format = new MediaFormat();
format.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm");
format.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
format.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
format.setInteger(MediaFormat.KEY_BIT_RATE, 64 * 1024);//AAC-HE 64kbps
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectHE);
encoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);
return true;
}
输入：PCM 比特率 = 44100(Hz) x 16(bit) x 1(Monoral) = 705600 bit/s
输出：AAC-HE 比特率 = 64 x 1024(bit) = 65536 bit/s
所以，数据大小大约压缩了x11，我通过观察日志确认了这个工作
- AudioRecoder﹕读取 4096 字节
- AudioEncoder: 369 字节编码
数据大小近似压缩x11，到目前为止一切顺利。
现在，我有一个 UDP 服务器来接收编码数据，然后对其进行解码。
解码器配置文件设置如下：
private boolean setDecoder(int rate)
{
decoder = MediaCodec.createDecoderByType("audio/mp4a-latm");
MediaFormat format = new MediaFormat();
format.setString(MediaFormat.KEY_MIME, "audio/mp4a-latm");
format.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);
format.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);
format.setInteger(MediaFormat.KEY_BIT_RATE, 64 * 1024);//AAC-HE 64kbps
format.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectHE);
decoder.configure(format, null, null, 0);
return true;
}
由于 UDPserver 数据包缓冲区大小为1024
- UDPserver : 收到 1024 个字节
由于这是压缩的 AAC 数据，我希望解码大小为
大约 1024 x11，但实际结果是
- AudioDecoder﹕已解码 8192 字节
大概是x8，感觉有点不对劲。
解码器代码如下：
IOudpPlayer = new Thread(new Runnable()
{
public void run()
{
SocketAddress sockAddress;
String address;
int len = 1024;
byte[] buffer2 = new byte[len];
DatagramPacket packet;
byte[] data;
ByteBuffer[] inputBuffers;
ByteBuffer[] outputBuffers;
ByteBuffer inputBuffer;
ByteBuffer outputBuffer;
MediaCodec.BufferInfo bufferInfo;
int inputBufferIndex;
int outputBufferIndex;
byte[] outData;
try
{
decoder.start();
isPlaying = true;
while (isPlaying)
{
try
{
packet = new DatagramPacket(buffer2, len);
ds.receive(packet);
sockAddress = packet.getSocketAddress();
address = sockAddress.toString();
Log.d("UDP Receiver"," received !!! from " + address);
data = new byte[packet.getLength()];
System.arraycopy(packet.getData(), packet.getOffset(), data, 0, packet.getLength());
Log.d("UDP Receiver", data.length + " bytes received");
//===========
inputBuffers = decoder.getInputBuffers();
outputBuffers = decoder.getOutputBuffers();
inputBufferIndex = decoder.dequeueInputBuffer(-1);
if (inputBufferIndex >= 0)
{
inputBuffer = inputBuffers[inputBufferIndex];
inputBuffer.clear();
inputBuffer.put(data);
decoder.queueInputBuffer(inputBufferIndex, 0, data.length, 0, 0);
}
bufferInfo = new MediaCodec.BufferInfo();
outputBufferIndex = decoder.dequeueOutputBuffer(bufferInfo, 0);
while (outputBufferIndex >= 0)
{
outputBuffer = outputBuffers[outputBufferIndex];
outputBuffer.position(bufferInfo.offset);
outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
outData = new byte[bufferInfo.size];
outputBuffer.get(outData);
Log.d("AudioDecoder", outData.length + " bytes decoded");
decoder.releaseOutputBuffer(outputBufferIndex, false);
outputBufferIndex = decoder.dequeueOutputBuffer(bufferInfo, 0);
}
//===========
}
catch (IOException e)
{
}
}
decoder.stop();
}
catch (Exception e)
{
}
}
});
完整代码：
https://gist.github.com/kenokabe/9029256
还需要权限：
<uses-permission android:name="android.permission.INTERNET"></uses-permission>
<uses-permission android:name="android.permission.RECORD_AUDIO"></uses-permission>
一位为 Google 工作的成员 fadden 告诉我
看起来我没有在输出缓冲区上设置位置和限制。
我读过 VP8 Encoding Nexus 5 returns empty/0-Frames ，但不知道如何正确实现。
更新：我有点明白在哪里修改
看起来我没有在输出缓冲区上设置位置和限制。
，所以在Encoder和Decoder的while循环中添加2行如下：
outputBuffer.position(bufferInfo.offset);
outputBuffer.limit(bufferInfo.offset + bufferInfo.size);
https://gist.github.com/kenokabe/9029256/revisions
但是结果是一样的。
现在，我认为，错误：
W/SoftAAC2﹕ AAC decoder returned error 16388, substituting silence. 表示此解码器从一开始就完全失败。又是the data is not seekable 问题。 Seeking in AAC streams on Android 如果 AAC 解码器不能以这种方式处理流数据，而只能添加一些标头，这非常令人失望。
UPDATE2：UDP 接收器出错，因此修改
https://gist.github.com/kenokabe/9029256
现在，错误
W/SoftAAC2﹕ AAC decoder returned error 16388, substituting silence.
消失了！！
因此，它表明解码器至少可以正常工作，
但是，这是 1 个周期的日志：
D/AudioRecoder﹕ 4096 bytes read
D/AudioEncoder﹕ 360 bytes encoded
D/UDP Receiver﹕ received !!! from /127.0.0.1:39000
D/UDP Receiver﹕ 360 bytes received
D/AudioDecoder﹕ 8192 bytes decoded
PCM(4096)->AACencoded(360)->UDP-AAC(360)->(应该是)PCM(8192)
最终结果大约是原始 PCM 大小的 2 倍，还是有问题。
所以我的问题是
您能否正确优化我的示例代码以使其正常工作？
使用
AudioTrackAPI 即时播放解码的 PCM 原始数据是否正确，您能告诉我正确的方法吗？示例代码表示赞赏。
谢谢。
附言。我的项目目标是 Android4.1+(API16)，我读过 API18(Andeoid 4.3+) 上的东西更容易，但是出于明显的兼容性原因，不幸的是，我不得不在这里跳过 MediaMuxer 等...
【问题讨论】：
-
我不是这方面的专家，但我认为每个数据包中都有额外的标头信息控制数据，使得原始有效负载小于 1024，因此 8192 实际上可能是合理的。
-
更有趣的是音频听起来像什么？压缩后可以播放吗？解压后能玩吗？尝试播放是确定压缩/解压缩是否实际工作的好方法。
-
可能，
MediaPlayer需要音频数据容器的标头，但我只是动态解码为 PCM 并尝试播放它。谢谢克里夫。 -
它基本上是 VoiceChat 应用程序。正如我在这里提到的，MIC -> AudioRecord->Encode from rawPCM to AAC -> UDP -> Decode to rawPCM -> Speaker
-
github.com/Audioboo/audioboo-android/blob/master/src/fm/… 很好的示例应用程序，可以在 android 的媒体 api 堆栈中完成复杂的事情。在链接类中查看“audiotrack”
标签： android pcm aac android-mediacodec audiorecord