Android中的h264原始数据流和渲染答案

【问题标题】：h264 raw data stream and rendering in AndroidAndroid中的h264原始数据流和渲染
【发布时间】：2018-07-24 12:45:41
【问题描述】：

我们有一个适用于网络摄像头的 Android 应用程序。我们的主要问题是显示的视频带有伪影。大部分屏幕为绿色方块。当您开始将手移到相机前时，方块消失，但视频仍然带有伪影。我们检查了缓冲区长度、数据包大小和许多参数……。现在我们不知道出了什么问题。

我将描述整个过程：摄像头使用 SIP 协议。根据 SIP，我们收集 SDP 数据并建立连接。我们发现视频在 RTP 数据包中转换为 H264 基本配置文件。我们收到 UDP 数据包。提取 RTP。查看 RTP 的标头。我们收到了类型 7 和 8 的数据包。我们使用这两个数据包来配置 MediaCodec。

private void initMedia(ByteBuffer header_sps, ByteBuffer header_pps) {
    try {
        mMediaCodec = MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //mMediaCodec = MediaCodec.createByCodecName("OMX.google.h264.decoder");
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, 640, 480);
        mediaFormat.setByteBuffer("csd-0", header_sps);
        mediaFormat.setByteBuffer("csd-1", header_pps);
        mMediaCodec.configure(mediaFormat, videoView.getHolder().getSurface(), null, 0);
        mMediaCodec.start();
        mConfigured = true;
        startMs = System.currentTimeMillis();
        show.start();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

我们还收到了 28 个数据包，这意味着它是部分，我们应该重建它。

public ByteBuffer writeRawH264toByteBuffer() throws IOException, NotImplementedException {
ByteBuffer res = null;
switch (nal.getType()){
    case NAL.FU_A:    //FU-A, 5.8.  Fragmentation Units (FUs)/rfc6184
        FUHeader fu = getFUHeader();

        if(fu.isFirst()){
            //if(debug) System.out.println("first");
            res = ByteBuffer.allocate(5+getH264PayloadLength());
            res.put(H264RTP.NON_IDR_PICTURE);
            res.put(getReconstructedNal());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        } else {
            //if(debug) System.out.println("end");
            res = ByteBuffer.allocate(getH264PayloadLength());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        }
        break;
    case NAL.SPS: //Sequence parameter set
    case NAL.PPS: //Picture parameter set
    case NAL.NAL_UNIT:
        res = ByteBuffer.allocate(4+getH264PayloadLength());
        //System.out.println("sps or pps write");
        res.put(H264RTP.NON_IDR_PICTURE);
        res.put(rtp.getBuffer(), rtp.getPayloadStart(), rtp.getPayloadLength());
        break;
    default:
        throw new NotImplementedException("NAL type " + getNAL().getType() + " not implemented");
}
return res;

}

NON_IDR_PICTURE 是字节数组 {0x00, 0x00, 0x00, 0x01}

我们使用 VideoView 在 Android 设备上翻译视频这个写包：

if (mConfigured) {
int index = mMediaCodec.dequeueInputBuffer(mTimeoutUsDegueueInput);
if (index >= 0) {
    ByteBuffer buffer = mMediaCodec.getInputBuffer(index);
    //buffer.clear();
    int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);
    mMediaCodec.queueInputBuffer(index, 0, capacity, wrapper.getSequence(), 0);
}

}

这个更新 VideoView（在单独的线程中）

while(true)
if (mConfigured) { 
    MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
    int index = mMediaCodec.dequeueOutputBuffer(info, mTimeoutUsDegueueOutput);
    if (index >= 0) { 
        mMediaCodec.releaseOutputBuffer(index, info.size > 0);
        if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
            break;
        }
    }
} else {
    try {
        Thread.sleep(10);
    } catch (InterruptedException ignore) {
    }
}

现在我不知道为什么视频会因伪影而崩溃以及要调试什么。

视频示例： screen of video

【问题讨论】：

标签： java android video stream h.264

【解决方案1】：

问题在于 FU_A 重建。问题出在这个字符串中

int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);

数据包FU_A应该被重构为完整的数据包并且只有在它被放入解码器之后

【讨论】：