【问题标题】：How to use ffmpeg in JavaScript to decode H.264 frames into RGB frames如何在 JavaScript 中使用 ffmpeg 将 H.264 帧解码为 RGB 帧
【发布时间】：2019-02-21 20:51:54
【问题描述】：

我正在尝试将 ffmpeg 编译成 javascript，以便我可以使用 node.js 解码 H.264 视频流。流是打包到 RTP NALU 中的 H.264 帧，因此任何解决方案都必须能够接受 H.264 帧而不是整个文件名。这些帧不能在 MP4 或 AVI 之类的容器中，因为解复用器需要每个帧的时间戳才能进行解复用，但我处理的是实时流，没有容器。

通过 RTP 流式传输 H.264

下面是我用来监听 udp 套接字的基本代码。在“消息”回调中，数据包是一个 RTP 数据报。数据报的数据部分是一个 H.264 帧（P 帧和 I 帧）。

var PORT = 33333;
var HOST = '127.0.0.1';

var dgram = require('dgram');
var server = dgram.createSocket('udp4');

server.on('listening', function () {
    var address = server.address();
    console.log('UDP Server listening on ' + address.address + ":" + address.port);
});

server.on('message', function (message, remote) {
    console.log(remote.address + ':' + remote.port +' - ' + message);
    frame = parse_rtp(message);

    rgb_frame = some_library.decode_h264(frame); // This is what I need.

});

server.bind(PORT, HOST);

我找到了Broadway.js 库，但我无法让它工作，而且它不能处理我需要的 P 帧。我还找到了ffmpeg.js，但可以让它工作，它需要一个完整的文件而不是一个流。同样，fluent-ffmpeg 似乎不支持文件流；所有示例都显示了传递给构造函数的文件名。所以我决定编写自己的 API。

我目前的解决方案尝试

我已经能够将ffmpeg编译成一个大的js文件，但是我不能那样使用它。我想围绕 ffmpeg 编写一个 API，然后将这些函数公开给 JS。所以在我看来我需要做以下事情：

将 ffmpeg 组件（avcodec、avutil 等）编译成 llvm bitcode。
编写一个公开解码功能并使用 EMSCRIPTEN_KEEPALIVE 的 C 包装器。
使用 emcc 编译包装器并将其链接到步骤 1 中创建的位码。

我找到了WASM+ffmpeg，但它是中文的，有些步骤不清楚。特别有这一步：

emcc web.c process.c ../lib/libavformat.bc ../lib/libavcodec.bc ../lib/libswscale.bc ../lib/libswresample.bc ../lib/libavutil.bc \

:(我认为我被卡住了

我不明白所有 ffmpeg 组件是如何编译成单独的 *.bc 文件的。我按照那篇文章中的 emmake 命令操作，最后得到了一个大的 .bc 文件。

2 个问题

1. 有谁知道使用 emscripten 编译 ffmpeg 以便我可以向 javascript 公开一些 API 的步骤？
2. 有没有更好的方法（带有体面的文档/示例）使用节点解码 h264 视频流？

【问题讨论】：

试试 fluent api : npmjs.com/package/fluent-ffmpeg
文档说“您可以将输入文件名或可读流、配置对象或两者都传递给构造函数”。 “文件流”是什么意思？
github.com/fluent-ffmpeg/node-fluent-ffmpeg/blob/master/… 在我看来就像输入流
您可以打开一个子进程来运行 ffmpeg，然后将您的 RTP 消息输入该子进程的标准输入，并从子进程的标准输出读取您的 rgb_frames。
请更详细地描述您的“打包到 RTP NALU 中的 H.264 帧”——没有它，就不可能说如何使用它。例如。您可以显示生成它们的minimal reproducible example。例如。接收端应该如何找出元数据？时间戳？将相互依赖的框架连接在一起？

标签： node.js ffmpeg h.264 emscripten fluent-ffmpeg

【解决方案1】：

问题1：关注官方doc

考虑您通常使用以下内容构建的情况命令：

./configure
make

要使用 Emscripten 构建，您可以改用以下内容命令：

# Run emconfigure with the normal configure command as an argument.
./emconfigure ./configure

# Run emmake with the normal make to generate linked LLVM bitcode.
./emmake make

# Compile the linked bitcode generated by make (project.bc) to JavaScript.
# 'project.bc' should be replaced with the make output for your project (e.g. 'yourproject.so')
#  [-Ox] represents build optimisations (discussed in the next section).
./emcc [-Ox] project.bc -o project.js

关于问题2：可以在节点环境中调用c/c++ libs。您可以编写一些 c/c++ 胶水代码或使用代理节点模块，如 node-ffi。

使用 node-ffi 调用现有库可能更容易。可能会有所帮助:)

【讨论】：

【解决方案2】：

最简单的方法，特别是如果您需要在网络浏览器中运行它，是使用媒体源扩展。我只用了 3 天就做到了。此外，就浏览器内置支持而言，它自动使用 GPU 硬件（Cuda、Intel Qsv、...）加速。如果它在真实世界应用程序中运行，这一点很重要。我昨天测试过，只有 5% 的旧 i7 机器 CPU 来解码 4K（比 1080p 多 4 倍）IP 摄像机 H.264 最终原始直播流。我不确定它在像nodejs这样的服务器端js下，但我希望结果是相似的。如果您需要更多信息，请与我联系。关于 H.265 / HEVC，您需要类似地对 ffmpeg 或 x265 或 OpenH265 部分进行 emscripten，并具有最小的 bc 大小（小于 1,2,3 M，具体取决于配置。）。祝你好运...

【讨论】：