【发布时间】:2015-10-12 20:22:50
【问题描述】:
我正在尝试创建一个应用程序,该应用程序记录来自麦克风的音频并通过套接字将其发送到另一部手机上的服务器。为了模拟另一部手机,我目前在 localhost 上使用 ServerSocket。现在我知道了,如果没有一些疯狂的压缩,我可能不会在服务器上获得断断续续的 44100Hz、立体声、PCM_16BIT 音频,但是我的套接字的传输速度非常低。我得到大约 16kB/s。在本地主机上!
这是我的客户端(在服务中作为两个线程运行):
LinkedBlockingQueue<byte[]> audioQueue = new LinkedBlockingQueue<>(100);
boolean isRecording;
int sample_rate = 44100;
int buff_size = AudioRecord.getMinBufferSize(sample_rate, AudioFormat.CHANNEL_IN_STEREO, AudioFormat.ENCODING_PCM_16BIT);
void recorderThread_func() throws InterruptedException, IOException{
int s_read;
byte[] tmp_buff;
byte[] buffer = new byte[buff_size];
AudioRecord recorder = new AudioRecord(
MediaRecorder.AudioSource.MIC,
sample_rate,
AudioFormat.CHANNEL_IN_STEREO,
AudioFormat.ENCODING_PCM_16BIT,
buff_size);
recorder.startRecording();
isRecording = true;
while (isRecording) {
tmp_buff = new byte[buff_size];
s_read = recorder.read(buffer, 0, buff_size);
System.arraycopy(buffer, 0, tmp_buff, 0, s_read);
audioQueue.put(tmp_buff);
}
isRecording = false;
recorder.stop();
}
void socketThread_func() throws IOException, InterruptedException {
byte[] tmp_buffer;
Thread.sleep(250);
Socket audioSocket = new Socket("127.0.0.1", 2004);
OutputStream out = audioSocket.getOutputStream();
InputStream in = audioSocket.getInputStream();
out.flush();
tmp_buffer = new byte[]{
(byte) 0xde,
(byte) ((buff_size >> 24) & 0xff),
(byte) ((buff_size >> 16) & 0xff),
(byte) ((buff_size >> 8) & 0xff),
(byte) ((buff_size ) & 0xff)};
out.write(tmp_buffer, 0, 5);
out.flush();
long a;
long b;
long c = 1;
long d = 1;
while (isRecording) {
tmp_buffer = audioQueue.take();
a = System.currentTimeMillis();
out.write(tmp_buffer, 0, buff_size);
out.flush();
b = System.currentTimeMillis();
c += b-a;
d++;
System.out.println("speed=" + ((1000*buff_size*(d++))/c));
in.read(tmp_buffer, 0, 1);
if (tmp_buffer[0] != (byte)'A')
break;
}
isRecording = false;
out.flush();
audioSocket.close();
}
这是我的服务器代码(在两个单独的线程中运行):
int buff_size = 0;
boolean isPlaying;
LinkedBlockingQueue<byte[]> audioQueue = new LinkedBlockingQueue<>(100);
void socketThread_func() throws IOException, InterruptedException{
byte[] msg = new byte[5];
byte[] tmp_buffer;
int s_read;
ServerSocket audioSocket = new ServerSocket();
audioSocket.setReceiveBufferSize(1024 * 1024 * 16);
audioSocket.bind(new InetSocketAddress("127.0.0.1", 2004));
Socket connSocket = audioSocket.accept();
OutputStream out = connSocket.getOutputStream();
InputStream in = connSocket.getInputStream();
out.flush();
in.read(msg, 0, 5);
if (msg[0] != ((byte)0xde)) {
return;
}
buff_size = ((int)msg[4] & 0xff) + (((int)msg[3] & 0xff) << 8) + (((int)msg[2] & 0xff) << 16) + (((int)msg[1] & 0xff) << 24);
msg = new byte[buff_size];
System.out.println("read: " + buff_size);
isPlaying = true;
long a;
long b;
long c = 1;
long d = 1;
while ( isPlaying ) {
a = System.currentTimeMillis();
s_read = in.read(msg);
b = System.currentTimeMillis();
c += b-a;
d++;
System.out.println("speed_sv=" + ((1000*buff_size*(d++))/c));
if (s_read == -1)
break;
tmp_buffer = new byte[buff_size];
System.arraycopy(msg, 0, tmp_buffer, 0, s_read);
audioQueue.put(tmp_buffer);
out.write('A');
out.flush();
}
isPlaying = false;
connSocket.close();
audioSocket.close();
}
private static void playerThread_func() throws InterruptedException{
byte[] tmp_buffer;
Thread.sleep(750);
AudioTrack mAudioTrack = new AudioTrack(
AudioManager.STREAM_MUSIC,
sample_rate,
AudioFormat.CHANNEL_IN_STEREO,
AudioFormat.ENCODING_PCM_16BIT,
buff_size,
AudioTrack.MODE_STREAM);
mAudioTrack.play();
while (isPlaying) {
tmp_buffer = audioQueue.take();
mAudioTrack.write(tmp_buffer, 0, buff_size);
}
isPlaying = false;
mAudioTrack.stop();
}
由于我试图弄清楚为什么它这么慢,所以代码有点乱。这可能是某种愚蠢的错误,但我就是看不到。
编辑:我修改了代码,现在它有不同的线程用于录制/播放和套接字处理。事实证明,代码的发送部分在高速下工作得很好,甚至足以传输 44100Hz 的音频(通过 127.0.0.1)。但是服务器的 in.read() 函数似乎让一切都变慢了。
速度=272243612
speed_sv=459849
【问题讨论】:
-
先录制后发送。不要同时记录和发送。另外你用的是什么连接?无线上网?这里有很多可能出错的地方。
-
我还没有使用任何连接。这一切都在本地主机上。这就是为什么我对速度感到惊讶。我会尝试你的建议并报告。
-
那么它的 16kB/s 常数?没有变异?如果是这种情况,问题不是您的代码,而是本地主机配置/设置/油门问题。通过网络进行测试,看看是否有差异。
-
buff_size有什么价值? -
@Namphibian 我已经重写了服务,所以现在我有两个线程:记录器和套接字处理线程,它们通过字节数组的 LinkedBlockingQueue 进行通信,但没有任何改变。我提到的 16kB/s 是一个近似值,实际上速度略有不同,但仍然很低。重写服务后,它约为 30kB/s - 仍然太低而无法使用。
标签: java android performance sockets