将一系列图像编码为视频

Question

如何在 Android 上从一系列图像/照片创建视频文件？ 这可以用当前的 SDK 完成吗？还是我需要编解码器库？

Answer 1

您可以使用名为 JCodec (http://jcodec.org) 的免费开源库，其中包含一些流行视频格式和编解码器的纯 Java 实现，包括：H.264 (AVC)、MPEG 1/2、Apple ProRes、JPEG、 MP4 (ISO BMF)、MPEG PS、MPEG TS、Matroska。
您可以使用下面利用 JCodec 低级 API 的 CORRECTED 类：

public class SequenceEncoder {
    private SeekableByteChannel ch;
    private Picture toEncode;
    private RgbToYuv420 transform;
    private H264Encoder encoder;
    private ArrayList<ByteBuffer> spsList;
    private ArrayList<ByteBuffer> ppsList;
    private CompressedTrack outTrack;
    private ByteBuffer _out;
    private int frameNo;
    private MP4Muxer muxer;

    public SequenceEncoder(File out) throws IOException {
        this.ch = NIOUtils.writableFileChannel(out);

        // Transform to convert between RGB and YUV
        transform = new RgbToYuv420(0, 0);

        // Muxer that will store the encoded frames
        muxer = new MP4Muxer(ch, Brand.MP4);

        // Add video track to muxer
        outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);

        // Allocate a buffer big enough to hold output frames
        _out = ByteBuffer.allocate(1920 * 1080 * 6);

        // Create an instance of encoder
        encoder = new H264Encoder();

        // Encoder extra data ( SPS, PPS ) to be stored in a special place of
        // MP4
        spsList = new ArrayList<ByteBuffer>();
        ppsList = new ArrayList<ByteBuffer>();

    }

    public void encodeImage(BufferedImage bi) throws IOException {
        if (toEncode == null) {
            toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
        }

        // Perform conversion
        for (int i = 0; i < 3; i++)
            Arrays.fill(toEncode.getData()[i], 0);
        transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);

        // Encode image into H.264 frame, the result is stored in '_out' buffer
        _out.clear();
        ByteBuffer result = encoder.encodeFrame(_out, toEncode);

        // Based on the frame above form correct MP4 packet
        spsList.clear();
        ppsList.clear();
        H264Utils.encodeMOVPacket(result, spsList, ppsList);

        // Add packet to video track
        outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));

        frameNo++;
    }

    public void finish() throws IOException {
        // Push saved SPS/PPS to a special storage in MP4
        outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));

        // Write MP4 header and finalize recording
        muxer.writeHeader();
        NIOUtils.closeQuietly(ch);
    }

    public static void main(String[] args) throws IOException {
        SequenceEncoder encoder = new SequenceEncoder(new File("video.mp4"));
        for (int i = 1; i < 100; i++) {
            BufferedImage bi = ImageIO.read(new File(String.format("folder/img%08d.png", i)));
            encoder.encodeImage(bi);
        }
        encoder.finish();
    }
}

Answer 2

ffmpeg 是你的救援护林员。您可以下载适用于 android 的 FFMPEG 端口。详情请参考问题FFmpeg on Android。

该端口几乎支持您需要的所有内容，包括格式 - 输入图像格式为 GIF、JPG、PNG、BMP 等，输出视频格式为 AVI、MP4（容器）和许多编解码器。

Answer 3

我同意马克的观点。 C/C++ 库中有 ffmpeg here 或 X264 here。我不得不说我没有发现它们或 Android NDK 易于使用，但这可能是因为我对 C/C++ 和 JNI 不太了解。如果您对这条路线感兴趣，那么适用于 Android 的 RockPlayer 免费应用程序具有来自 ffmpeg 的预构建共享库，可在 Android 上使用。他们声称这些库只使用 LGPL 组件，但我猜你必须对此感到满意。关于 Java，有一个（各种）ffmpeg 端口，不出所料，jffmpeg 可以访问here，但它仍然调用了大部分现有的 ffmpeg 框架，所以你又回到了 NDK 领域。使用 Java Media Framework (JMF) 可以将一系列图像转换为视频，但它有以下缺点：

1. 视频格式数量有限。
2. 不生成可在大多数（如果不是全部）Android 手机上播放的视频，例如H264 或 MPEG4。
3. JMF 代码现在相当陈旧，很长时间没有进步，臃肿且结构不完善，因此可能还有其他 Java 依赖项未打包在 Android 中。

我看到使用的另一个选项是 Adob​​e Air，但它是一个 17Mb 的有效负载，一些用户抱怨。

Stack Overflow 上还有很多关于 ffmpeg 和 Android NDK 的其他问题。

祝项目顺利。

Answer 4

对此没有内置支持。您需要找到一些可以满足您需要的 Java 源代码，或者一些可以转换为库并通过 NDK 使用的 C/C++ 代码。或者，如果最终目标是将视频放在服务器上，则上传图像/照片并让服务器创建视频。